MarathonMemBench: Uusi vertailualusta LLM-agenttien muistin testaamiseen
Anthropic
MarathonMemBench on uudenlainen vertailualusta, joka testaa LLM-agenttien pitkäkestoista muistia pitkien, luonnollisten keskustelujen avulla ilman erityisiä agenttimuutoksia. Se luotiin, koska olemassa olevat muistin vertailualustat joko edellyttävät valmiiksi tallennettujen keskustelujen lataamista (off-policy) tai vaativat lisäominaisuuksia, kuten tilan tilannevedoksia tai ohjelmallista muistin käyttöä. Alusta on suunniteltu agenttiriippumattomaksi, ja se vaatii vain keskustelukäyttöliittymän. Se mahdollistaa agentin kyvyn arvioinnin muistaa ja ylläpitää faktoja pitkien keskustelujen aikana, jotka ylittävät kontekstiikkunan.
Artikkelissa esitellään MarathonMemBench, alusta LLM-agenttien pitkäkestoisen muistin vertailuanalyysiä varten. Kirjoittaja väittää, että transformeriarkkitehtuuriin perustuvien mallien rajallinen konteksti-ikkuna on perustavanlaatuinen rajoitus, ja agenttien on käytettävä ulkoisia muistityökaluja, kuten tiedostoihin kirjoittamista, sen voittamiseksi. Olemassa olevia muistin vertailuanalyysejä arvostellaan siitä, että ne edellyttävät agenttien erityistä mukauttamista: off-policy-vertailuanalyysit (esim. LoCoMo, LongMemEval, MemoryAgentBench, BEAM) lataavat ennalta tallennettuja keskusteluja, kun taas on-policy-vertailuanalyysit (esim. AMemGym, MEMPROBE, MemoryArena, STATE-Bench, MemGym, ClawMark) vaativat tietotilannekuvia, ohjelmallista muistin käyttöä tai toimimista omassa ympäristössään. MarathonMemBench toimii sen sijaan alustana, jossa LLM-persoona keskustelee agentin kanssa tuntien ajan, esittää faktoja, muuttaa niitä ja lopuksi testaa muistamista. Se edellyttää agentilta ainoastaan keskustelukäyttöliittymää. Artikkelissa hahmotellaan suunnitelmia tulevia osioita varten, jotka kattavat olemassa olevat vertailuanalyysit, alustan arkkitehtuurin ja tulokset avoimen lähdekoodin agenteista, jotka olivat yllättävän vahvoja.
Lähde: Habr — хаб ИИ —
Alkuperäinen