LLM-hallusinaatiot: Kuinka tekoälymallit keksivät olemattomia paketteja
OpenAI
Meta
DeepSeek
Mistral
Uusi tutkimus paljastaa, että suuret kielimallit hallusinoivat usein pakettien nimiä, mikä aiheuttaa toimitusketjun hyökkäysriskin. Tutkijat testasivat 16 mallia, tuottivat 576 000 koodinäytettä ja havaitsivat, että keskimäärin 19,7 prosenttia pakettisuosituksista oli kuvitteellisia. He ehdottavat myös lieventämisstrategioita.
Tutkimuksessa 'We Have a Package for You!' analysoitiin koodia tuottavien suurten kielimallien pakettihallusinaatioita. Tutkijat testasivat 16 mallia, mukaan lukien GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder ja muita, ja tuottivat 576 000 koodinäytettä Pythonille ja JavaScriptille. He havaitsivat, että 440 445 suositusta (19,7 %) oli hallusinaatioita, ja kaupalliset mallit hallusinoivat vähintään 5,2 %:ssa ja avoimet mallit 21,7 %:ssa tapauksista. Mallit hallusinoivat todennäköisemmin viimeaikaisista aiheista, ja alhaisempi lämpötila vähensi mutta ei poistanut riskiä. Tutkimuksessa havaittiin myös, että mallit toistavat usein omia hallusinaatioitaan ja että suurin osa hallusinoiduista nimistä ei ole yksinkertaisia kirjoitusvirheitä oikeista paketeista. Tutkimus sai Distinguished Paper Award -palkinnon USENIX Security 2025 -konferenssissa.
Lähde: Habr — хаб ИИ —
Alkuperäinen