Hallucinations des LLM : comment les modèles d'IA inventent des paquets inexistants
OpenAI
Meta
DeepSeek
Mistral
Une nouvelle étude révèle que les grands modèles de langage hallucinent fréquemment des noms de paquets, posant un risque d'attaque sur la chaîne d'approvisionnement. Les chercheurs ont testé 16 modèles, généré 576 000 échantillons de code, et ont constaté qu'en moyenne 19,7% des recommandations de paquets étaient fictives. Ils proposent également des stratégies d'atténuation.
L'étude « We Have a Package for You ! » a analysé les hallucinations de paquets par les LLM générateurs de code. Les chercheurs ont testé 16 modèles, dont GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder, et d'autres, en générant 576 000 échantillons de code pour Python et JavaScript. Ils ont constaté que 440 445 recommandations (19,7 %) étaient des hallucinations, les modèles commerciaux hallucinant au moins 5,2 % et les modèles ouverts 21,7 %. Les modèles étaient plus susceptibles d'halluciner sur des sujets récents, et une température plus basse réduisait mais n'éliminait pas le risque. L'étude a également constaté que les modèles répètent souvent leurs propres hallucinations et que la plupart des noms hallucinés ne sont pas de simples erreurs de frappe de paquets réels. La recherche a remporté un Distinguished Paper Award à USENIX Security 2025.
Source: Habr — хаб ИИ —
original