Miksi edes täydellinen LLM ei tee agenttisista järjestelmistä ennustettavia
Beijing Academy of Artificial Intelligence (BAAI)
Vaikka LLM lopettaisi hallusinoimisen ja muuttuisi deterministiseksi, siihen perustuvat moniagenttijärjestelmät voivat pysyä ennustamattomina epälineaaristen agenttien välisten vuorovaikutusten vuoksi. Kirjoittaja osoittaa esimerkein, että semanttisesti samankaltaiset kyselyt voivat johtaa päinvastaisiin vastauksiin, ja agenttiketjuissa pienet poikkeamat kumuloituvat ja synnyttävät determinististä kaaosta.
Artikkelissa tarkastellaan LLM-pohjaisten moniagenttijärjestelmien ennustamattomuutta jopa nollahallusinaatioiden tapauksessa. Kirjoittaja suorittaa kokeen Qwen Instruct 30B -mallilla lämpötilassa 0: kahdeksalle samankaltaiselle kysymykselle LLM-determinismistä malli antoi kaksi vastakkaista vastausta, vaikka jokainen yksittäinen kysely toistui identtisesti. Kysymysten semanttinen samankaltaisuus, mitattuna BAAI/bge-m3-mittarilla, oli 0,30–0,39, mikä tarkoittaa, että ne ovat käytännössä erottamattomia käyttäjälle. Seuraavaksi kirjoittaja simuloi agenttiketjun käyttäytymistä logistisen kuvauksen avulla—epälineaarinen tilojen muunnos. Alkuehtojen vastatessa semanttista samankaltaisuutta, kehityskulut erkanevat kaoottisesti vaiheeseen 15 mennessä, vaikka jokainen vaihe on deterministinen. Johtopäätös: yksittäisen agentin ennustettavuus ei takaa koosteen ennustettavuutta epälineaarisuuden ja virheiden kasaantumisen vuoksi. Käytännön suosituksia ovat peräkkäisten ketjujen pituuden rajoittaminen, tarkistuspisteiden lisääminen, rinnakkaisten rakenteiden käyttö ja putkiston testaus semanttisesti samankaltaisilla syötteillä.
Lähde: Habr — хаб ИИ —
Alkuperäinen