LLM-hallucinaties: hoe AI-modellen niet-bestaande pakketten verzinnen
OpenAI
Meta
DeepSeek
Mistral
Een nieuwe studie onthult dat grote taalmodellen regelmatig pakketnamen hallucineren, wat een risico vormt voor aanvallen op de toeleveringsketen. De onderzoekers testten 16 modellen, genereerden 576.000 codevoorbeelden en ontdekten dat gemiddeld 19,7% van de pakketaanbevelingen fictief was. Ze stellen ook mitigatiestrategieën voor.
De studie 'We Have a Package for You!' analyseerde pakket-hallucinaties door code-genererende taalmodellen. De onderzoekers testten 16 modellen, waaronder GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder en andere, en genereerden 576.000 codevoorbeelden voor Python en JavaScript. Ze ontdekten dat 440.445 aanbevelingen (19,7%) hallucinaties waren, waarbij commerciële modellen minstens 5,2% en open modellen 21,7% hallucineerden. De modellen hadden meer kans om te hallucineren over recente onderwerpen, en een lagere temperatuur verminderde maar elimineerde het risico niet. De studie toonde ook aan dat modellen vaak hun eigen hallucinaties herhalen, en dat de meeste verzonnen namen geen eenvoudige typefouten van echte pakketten zijn. Het onderzoek won een Distinguished Paper Award op USENIX Security 2025.
Bron: Habr — хаб ИИ —
origineel