Alucinações de LLMs: Como os Modelos de IA Inventam Pacotes Inexistentes
OpenAI
Meta
DeepSeek
Mistral
Um novo estudo revela que grandes modelos de linguagem frequentemente alucinam nomes de pacotes, representando um risco de ataque à cadeia de suprimentos. Os pesquisadores testaram 16 modelos, gerando 576.000 amostras de código, e descobriram que, em média, 19,7% das recomendações de pacotes eram fictícias. Eles também propõem estratégias de mitigação.
O estudo 'We Have a Package for You!' analisou alucinações de pacotes por LLMs geradores de código. Os pesquisadores testaram 16 modelos, incluindo GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder, entre outros, gerando 576.000 amostras de código para Python e JavaScript. Eles descobriram que 440.445 recomendações (19,7%) eram alucinações, com modelos comerciais alucinando pelo menos 5,2% e modelos abertos 21,7%. Os modelos eram mais propensos a alucinar em tópicos recentes, e uma temperatura mais baixa reduzia, mas não eliminava o risco. O estudo também descobriu que os modelos frequentemente repetem suas próprias alucinações e que a maioria dos nomes alucinados não são simples erros de digitação de pacotes reais. A pesquisa ganhou o Prêmio de Melhor Artigo no USENIX Security 2025.
Fonte: Habr — хаб ИИ —
original