LLM-Halluzinationen: Wie KI-Modelle nicht existierende Pakete erfinden
OpenAI
Meta
DeepSeek
Mistral
Eine neue Studie zeigt, dass große Sprachmodelle häufig Paketnamen halluzinieren, was ein Risiko für Angriffe auf die Lieferkette darstellt. Die Forscher testeten 16 Modelle, generierten 576.000 Codebeispiele und stellten fest, dass im Durchschnitt 19,7 Prozent der Paketempfehlungen erfunden waren. Sie schlagen außerdem Maßnahmen zur Abschwächung vor.
Die Studie „We Have a Package for You!“ analysierte Pakethalluzinationen bei Code generierenden LLMs. Die Forscher testeten 16 Modelle, darunter GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder und andere, und erzeugten 576.000 Codebeispiele für Python und JavaScript. Sie fanden heraus, dass 440.445 Empfehlungen (19,7 %) Halluzinationen waren, wobei kommerzielle Modelle mindestens 5,2 % und offene Modelle 21,7 % halluzinierten. Die Modelle neigten eher zu Halluzinationen bei aktuellen Themen, und eine niedrigere Temperatur reduzierte das Risiko, eliminierte es jedoch nicht. Die Studie ergab auch, dass Modelle ihre eigenen Halluzinationen oft wiederholen und dass die meisten halluzinierten Namen keine einfachen Tippfehler echter Pakete sind. Die Forschung wurde auf der USENIX Security 2025 mit einem Distinguished Paper Award ausgezeichnet.
Quelle: Habr — хаб ИИ —
Original