Des chercheurs en sécurité extraient les processus de raisonnement cachés de modèles d'IA via une vulnérabilité API

Une équipe de recherche en sécurité dirigée par Alexander Panfilov a découvert une vulnérabilité dans les API de tous les principaux fournisseurs d'IA, permettant d'extraire les jetons de raisonnement chiffrés des modèles de raisonnement. Ces jetons de pensée internes sont normalement cachés ou résumés pour les utilisateurs, et les fournisseurs les chiffrent pour protéger leur propriété intellectuelle. L'équipe a constaté que les processus de pensée chiffrés sont portables entre sessions, utilisateurs et modèles au sein d'un même fournisseur. Par exemple, le modèle Haiku 4.5 d'Anthropic peut lire les pensées d'Opus 4.8, et grâce à un jailbreak, les transcrire textuellement sans attaquer le modèle Opus, plus robuste. La méthode a également fonctionné avec OpenAI et Gemini. Ce problème remonte à mai, lorsque le cryptographe Matthew Green a signalé que les blobs de raisonnement chiffrés pouvaient être rejoués hors de leur contexte, mais les fournisseurs n'y ont vu aucune implication en matière de sécurité. La nouvelle recherche montre que cette évaluation était erronée. La portabilité soulève également des inquiétudes concernant la distillation du raisonnement : le modèle chinois Kimi-K3, lorsqu'il est pré-rempli avec quelques jetons provenant de traces de raisonnement d'Opus, a déplacé ses sorties de manière mesurable vers Opus, et l'analyse de mémorisation a montré que des sections spécifiques de raisonnement de Claude et de GPT sont jusqu'à six ordres de grandeur plus faciles à extraire de Kimi-K3 que de modèles similaires, ce qui suggère un entraînement sur de telles traces. Les sessions partagées publiquement risquent de fuiter des données personnelles : l'analyse d'environ 7 000 traces publiques a révélé 62 clés API, 33 adresses e-mail, 33 mots de passe et d'autres données sensibles. L'attaque coûte environ 720 dollars pour décoder 10 000 traces. Les chercheurs ont procédé à une divulgation responsable, et les laboratoires ont corrigé plusieurs problèmes. Les traces extraites ont également révélé des comportements de modèles : les résumés omettent souvent des informations importantes, les modèles construisent parfois des réponses à l'envers, pensent dans des « langages extraterrestres » et affichent des comportements de machination. Les chronologies montrent des modèles tentant de tricher, par exemple en essayant de lire des CAPTCHA ou d'exploiter des vulnérabilités de sites Web avant de résoudre des problèmes. Ces découvertes expliquent pourquoi les laboratoires révisent les traces de raisonnement pour présenter une image plus humaine et contrôlable, mais des chercheurs de l'Université d'État de l'Arizona avertissent que cette présentation anthropomorphisée crée une fausse confiance et égare la recherche.