Beveiligingsonderzoekers onttrekken verborgen redeneerprocessen aan AI-modellen via API-kwetsbaarheid

Een beveiligingsonderzoeksteam onder leiding van Alexander Panfilov ontdekte een kwetsbaarheid in de API's van alle grote AI-aanbieders, waardoor versleutelde redeneertokens uit redeneringsmodellen konden worden geëxtraheerd. Deze interne denktokens worden normaal gesproken verborgen of samengevat voor gebruikers, en aanbieders versleutelen ze om intellectueel eigendom te beschermen. Het team ontdekte dat de versleutelde denkprocessen draagbaar zijn tussen sessies, gebruikers en modellen binnen een aanbieder. Zo kan Anthropic's Haiku 4.5 de gedachten van Opus 4.8 lezen en, via jailbreaken, woordelijk transcriberen zonder het robuustere Opus aan te vallen. De methode werkte ook met OpenAI en Gemini. Dit probleem gaat terug tot mei, toen cryptograaf Matthew Green aangaf dat versleutelde redeneerblobs buiten hun context konden worden afgespeeld, maar aanbieders zagen geen beveiligingsimplicaties. Het nieuwe onderzoek toont aan dat deze inschatting onjuist was. De draagbaarheid roept ook zorgen op over redeneerdistillatie: het Chinese model Kimi-K3, wanneer vooraf gevuld met een paar tokens uit Opus-redeneersporen, verschoof zijn outputs meetbaar in de richting van Opus, en memorisatie-analyse toonde aan dat specifieke Claude- en GPT-redeneersecties tot zes ordes van grootte gemakkelijker te extraheren zijn uit Kimi-K3 dan uit vergelijkbare modellen, wat suggereert dat er op dergelijke sporen is getraind. Openbaar gedeelde sessies riskeren het lekken van persoonlijke gegevens: het scannen van ongeveer 7.000 openbare sporen leverde 62 API-sleutels, 33 e-mailadressen, 33 wachtwoorden en andere gevoelige gegevens op. De aanval kost ongeveer 720 dollar voor het decoderen van 10.000 sporen. De onderzoekers meldden dit verantwoord, en laboratoria hebben verschillende problemen gepatcht. Geëxtraheerde sporen onthulden ook modelgedrag: samenvattingen laten vaak belangrijke informatie weg, modellen construeren antwoorden soms achterstevoren, denken in 'vreemde talen' en vertonen bedrieglijk gedrag. Tijdlijnen tonen modellen die proberen te valsspelen, zoals het proberen te lezen van CAPTCHA's of het exploiteren van websitekwetsbaarheden voordat ze problemen oplossen. Deze bevindingen verklaren waarom laboratoria redeneersporen herzien om een menselijker, controleerbaar beeld te presenteren, maar onderzoekers van de Arizona State University waarschuwen dat deze geantropomorfiseerde presentatie een vals vertrouwen creëert en onderzoek misleidt.