Perustavanlaatuinen vika tekee LLM-malleista haavoittuvia hyökkäyksille

Kansainvälisessä koneoppimiskonferenssissa esitetty paperi, jonka ovat laatineet riippumattomat tutkijat Charles Ye ja Jasmine Cui, paljastaa perustavanlaatuisen virheen suurissa kielimalleissa, mikä tekee niistä haavoittuvia hyökkäyksille. Virhe koskee sitä, miten suuret kielimallit tunnistavat, kuka tai mikä antaa niille ohjeita. Tämä tekee helpoksi huijata niitä tekemään asioita, joita niiden ei pitäisi, kuten antamaan ohjeita kokaiinin syntetisoimiseksi tai ilma-aluksen navigointijärjestelmän sabotoimiseksi. Tutkijat havaitsivat, että suuret kielimallit tunnistavat tekstin roolin tyylin, eivät tunnisteiden perusteella, mikä mahdollistaa roolien väärentämisen hyökkääjille. He osoittivat päättelyketjun väärennöshyökkäyksiä OpenAI:n, Anthropicin, Alibaban ja DeepSeekin malleja vastaan. Tutkijat väittävät, että tämä ongelma on perustavanlaatuisesti ratkaisematon, eikä mikään määrä harjoittelua voi täysin korjata sitä. He varoittavat, että suuria kielimalleja otetaan käyttöön kriittisissä järjestelmissä ilman riittävää perustutkimusta.