AI-agentit: Rinnakkaista työtä ilman virheiden rinnakkaistamista

Tutkijat ovat kehittäneet Horizon-nimisen vertailuarvon ja analysoineet yli 3 100 agenttisukupolvea erilaisissa ympäristöissä, kuten verkossa, käyttöjärjestelmissä, tietokannoissa ja upotetuissa ympäristöissä. Kokeisiin osallistui agentteja, jotka käyttivät OpenAI:n ja Anthropicin malleja. Tulokset paljastavat, että suorituskyky ei heikkene asteittain tehtävien pidentyessä, vaan se voi pysyä vakaana ja sitten romahtaa äkillisesti tietyn kynnyksen jälkeen. Epäonnistumisista tunnistettiin seitsemän pääluokkaa, jotka ryhmiteltiin kahteen perheeseen: 72,5 prosenttia epäonnistumisista liittyi prosessiriskeihin ja 27,5 prosenttia agenttisuunnittelun riskeihin. Anthropic nostaa esiin ilmiön nimeltä 'kontekstin saastuminen', jossa kertynyt välitieto sotkee agentin kontekstin ja heikentää harkintakykyä. Tutkimus ehdottaa, että tehtävän jakaminen itsenäisiin alitehtäviin, joita käsittelevät erilliset agentit, toimii, kun taas sellaisten vaiheiden jakaminen kuin suunnittelu, toteutus ja testaus, jotka jakavat liikaa kontekstia, johtaa tiedon menetykseen kuin rikkinäinen puhelinleikki. Johdolle keskeisiä kysymyksiä on neljä: kuka teki päätöksen, minkä tiedon perusteella, millä hinnalla ja voidaanko yksittäinen epäonnistunut vaihe toistaa itsenäisesti. Ilman uudelleentoistettavuutta häiriöt käynnistävät kaiken alusta, ja virheellinen jakaminen voi maksaa 3–10 kertaa enemmän kuin yksi agentti.