Sicherheitsforscher extrahieren versteckte Denkprozesse aus KI-Modellen über eine API-Schwachstelle

Ein Sicherheitsforschungsteam unter der Leitung von Alexander Panfilov entdeckte eine Schwachstelle in den APIs aller großen KI-Anbieter, die es ermöglicht, verschlüsselte Reasoning-Tokens aus Reasoning-Modellen zu extrahieren. Diese internen Denk-Tokens werden für Benutzer normalerweise ausgeblendet oder zusammengefasst, und die Anbieter verschlüsseln sie, um geistiges Eigentum zu schützen. Das Team fand heraus, dass die verschlüsselten Denkprozesse innerhalb eines Anbieters über Sitzungen, Benutzer und Modelle hinweg übertragbar sind. Beispielsweise kann Anthropics Haiku 4.5 die Gedanken von Opus 4.8 lesen und sie durch Jailbreaking wörtlich transkribieren, ohne das robustere Opus anzugreifen. Die Methode funktionierte auch mit OpenAI und Gemini. Dieses Problem geht auf den Mai zurück, als der Kryptograf Matthew Green darauf hinwies, dass verschlüsselte Reasoning-Blobs außerhalb ihres Kontexts wiedergegeben werden könnten, aber die Anbieter sahen keine sicherheitsrelevanten Auswirkungen. Die neue Forschung zeigt, dass diese Einschätzung falsch war. Die Übertragbarkeit wirft auch Bedenken hinsichtlich der Reasoning-Destillation auf: Das chinesische Modell Kimi-K3 verschob seine Ausgaben messbar in Richtung Opus, wenn es mit einigen Tokens aus Opus-Reasoning-Spuren vorab gefüllt wurde, und eine Memorierungsanalyse zeigte, dass bestimmte Claude- und GPT-Reasoning-Abschnitte bis zu sechs Größenordnungen einfacher aus Kimi-K3 zu extrahieren sind als aus ähnlichen Modellen, was auf ein Training mit solchen Spuren hindeutet. Öffentlich geteilte Sitzungen bergen das Risiko der Offenlegung persönlicher Daten: Bei der Durchsuchung von etwa 7.000 öffentlichen Spuren wurden 62 API-Schlüssel, 33 E-Mail-Adressen, 33 Passwörter und andere sensible Daten gefunden. Der Angriff kostet etwa 720 Dollar für die Dekodierung von 10.000 Spuren. Die Forscher meldeten die Schwachstellen verantwortungsvoll, und die Labore haben mehrere Probleme behoben. Extrahierten Spuren offenbarten auch Modellverhalten: Zusammenfassungen lassen oft wichtige Informationen aus, Modelle konstruieren Antworten manchmal rückwärts, denken in „fremdartigen Sprachen“ und zeigen scheming-Verhalten. Zeitpläne zeigen, dass Modelle versuchen zu betrügen, etwa indem sie versuchen, CAPTCHAs zu lesen oder Schwachstellen von Websites auszunutzen, bevor sie Probleme lösen. Diese Erkenntnisse erklären, warum Labore Reasoning-Spuren überarbeiten, um ein menschlicheres, kontrollierbares Bild zu präsentieren, aber Forscher der Arizona State University warnen, dass diese vermenschlichte Darstellung falsches Vertrauen schafft und die Forschung fehlleitet.