KI-Gedanken lassen sich mit einer anderen KI auslesen – Passwörter und Schlüssel werden sichtbar

Acht Forscher des ELLIS Institute Tübingen, des Max-Planck-Instituts für Intelligente Systeme, des Tübingen AI Center, von MATS und Snyk haben am 10. August einen Vorabdruck veröffentlicht, der einen Angriff auf die verschlüsselten Reasoning-Spuren von Modellen von Anthropic, OpenAI und Google beschreibt. Der Angriff funktioniert, indem der verschlüsselte Block eines starken Modells (z. B. Claude Opus 4.8) einem schwächeren Modell desselben Anbieters (z. B. Haiku 4.5) zugeführt wird, das dann gebeten wird, das Reasoning wörtlich neu zu schreiben und es so zu entschlüsseln. Der Angriff knackt die Verschlüsselung nicht und greift auch nicht das starke Modell an; er nutzt aus, dass der verschlüsselte Block an den Client zurückgegeben wird und mit der nächsten Anfrage erneut gesendet werden muss. Die Forscher verifizierten die Authentizität der entschlüsselten Spuren anhand von 120 Codeforces-Aufgaben. Sie durchsuchten außerdem 6708 öffentliche Agenten-Logs von GitHub und Hugging Face und stellten 315.320 Reasoning-Blöcke wieder her, die 704 eindeutige Geheimnisse enthielten, darunter 62 API-Schlüssel, 33 Passwörter, 24 Zugriffstoken sowie E-Mails, Namen und interne URLs. Bemerkenswerterweise waren 64 dieser Geheimnisse im sichtbaren Verlauf nirgendwo zu sehen; sie existierten nur innerhalb der verschlüsselten Blöcke. Das Papier beschreibt auch einen Poisoning-Vektor, bei dem ein bösartiger Block platziert werden kann, um Anweisungen in einen Agenten einzuschleusen, der diesen später lädt. Die Autoren schlagen kryptografische und systemische Maßnahmen vor, um den Block an die Sitzung, den Benutzer und das Modell zu binden, aber vorerst sollten Benutzer verschlüsselte Reasoning-Blöcke als Geheimnisse behandeln und vermeiden, Logs öffentlich zu teilen.