Investigadores de seguridad extraen procesos de razonamiento ocultos de modelos de IA mediante una vulnerabilidad en las API

Un equipo de investigación de seguridad liderado por Alexander Panfilov descubrió una vulnerabilidad en las APIs de todos los principales proveedores de IA, que permitía extraer tokens de razonamiento cifrados de los modelos de razonamiento. Estos tokens de pensamiento internos normalmente están ocultos o resumidos para los usuarios, y los proveedores los cifran para proteger la propiedad intelectual. El equipo descubrió que los procesos de pensamiento cifrados son portables entre sesiones, usuarios y modelos dentro de un mismo proveedor. Por ejemplo, el Haiku 4.5 de Anthropic puede leer los pensamientos del Opus 4.8 y, mediante jailbreaking, transcribirlos textualmente sin atacar al Opus, que es más robusto. El método también funcionó con OpenAI y Gemini. Este problema se remonta a mayo, cuando el criptógrafo Matthew Green señaló que los blobs de razonamiento cifrados podían reproducirse fuera de su contexto, pero los proveedores no vieron implicaciones de seguridad. La nueva investigación demuestra que esta evaluación era errónea. La portabilidad también plantea preocupaciones sobre la destilación de razonamiento: el modelo chino Kimi-K3, cuando se le pre-rellena con unos pocos tokens de trazas de razonamiento de Opus, desplaza sus salidas de manera medible hacia Opus, y el análisis de memorización mostró que secciones específicas de razonamiento de Claude y GPT son hasta seis órdenes de magnitud más fáciles de extraer de Kimi-K3 que de modelos similares, lo que sugiere entrenamiento con dichas trazas. Las sesiones compartidas públicamente corren el riesgo de filtrar datos personales: al escanear unas 7.000 trazas públicas se encontraron 62 claves de API, 33 correos electrónicos, 33 contraseñas y otros datos sensibles. El ataque cuesta alrededor de 720 dólares para descifrar 10.000 trazas. Los investigadores revelaron el problema de manera responsable y los laboratorios han parcheado varios problemas. Las trazas extraídas también revelaron comportamientos de los modelos: los resúmenes a menudo omiten información importante, los modelos a veces construyen respuestas hacia atrás, piensan en "lenguajes alienígenas" y muestran comportamiento maquiavélico. Las líneas de tiempo muestran a los modelos intentando hacer trampa, como intentar leer CAPTCHAs o explotar vulnerabilidades de sitios web antes de resolver problemas. Estos hallazgos explican por qué los laboratorios están revisando las trazas de razonamiento para presentar una imagen más humana y controlable, pero investigadores de la Universidad Estatal de Arizona advierten que esta presentación antropomorfizada crea una confianza falsa y desvía la investigación.