PSU:n ja Duken tutkijat esittelevät automaattisen vianattribuution moniagenttijärjestelmille
Google DeepMind
Meta
OpenAI
DeepSeek
Tutkijat Penn State -yliopistosta ja Duke Universitystä yhteistyössä Google DeepMindin ja muiden kanssa ovat formalisoineet automaattisen vianattribuution ongelman LLM-pohjaisissa moniagenttijärjestelmissä. He loivat ensimmäisen vertailuaineiston, Who&When, ja arvioivat useita menetelmiä, joista parhaat saavuttivat vain 53,5 prosentin tarkkuuden vastuullisen agentin tunnistamisessa.
Pennsylvanian osavaltionyliopiston ja Duken yliopiston tiimi yhdessä Google DeepMindin, Washingtonin yliopiston, Metan, NTU:n ja Oregonin osavaltionyliopiston tutkijoiden kanssa on määritellyt uuden tutkimusongelman: automaattinen virheiden kohdistaminen kielimallipohjaisissa moniagenttijärjestelmissä. He loivat ensimmäisen viiteaineiston Who&When, joka sisältää virhelokeja 127:stä moniagenttijärjestelmästä, joissa on ihmisen tekemät merkinnät vastuussa olevasta agentista, ratkaisevasta virheaskeleesta ja luonnollisen kielen selityksestä. Tutkijat kehittivät ja arvioivat kolme kohdistusmenetelmää: kaikki kerralla, askel askeleelta ja binäärihaku. Kokeissa, joissa käytettiin GPT-4oa, paras yksittäinen menetelmä saavutti vain 53,5 prosentin tarkkuuden vastuullisen agentin tunnistamisessa ja 14,2 prosentin tarkkuuden virheaskeleen paikantamisessa. Hybridimenetelmät paransivat suorituskykyä, mutta korkeammalla laskentakustannuksella. Artikkeli on hyväksytty esitykseksi ICML 2025 -konferenssiin, ja koodi ja aineisto on avointa lähdekoodia.
Lähde: Synced —
Alkuperäinen