Alucinaciones de los LLM: cómo los modelos de IA inventan paquetes que no existen
OpenAI
Meta
DeepSeek
Mistral
Un nuevo estudio revela que los modelos de lenguaje de gran tamaño alucinan con frecuencia nombres de paquetes, lo que representa un riesgo de ataque a la cadena de suministro. Los investigadores probaron 16 modelos, generando 576,000 muestras de código, y encontraron que en promedio el 19,7% de las recomendaciones de paquetes eran ficticias. También proponen estrategias de mitigación.
El estudio '¡Tenemos un paquete para ti!' analizó las alucinaciones de paquetes en los LLM que generan código. Los investigadores probaron 16 modelos, incluidos GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder, entre otros, generando 576.000 muestras de código para Python y JavaScript. Descubrieron que 440.445 recomendaciones (19,7%) eran alucinaciones, con modelos comerciales alucinando al menos el 5,2% y modelos abiertos el 21,7%. Los modelos eran más propensos a alucinar sobre temas recientes, y una temperatura más baja reducía, pero no eliminaba, el riesgo. El estudio también encontró que los modelos a menudo repiten sus propias alucinaciones, y que la mayoría de los nombres alucinados no son simples errores tipográficos de paquetes reales. La investigación ganó un Premio al Artículo Distinguido en USENIX Security 2025.
Fuente: Habr — хаб ИИ —
original