AI-agenten: Paralleliseer werk zonder fouten te paralleliseren

Onderzoekers hebben een benchmark ontwikkeld met de naam Horizon en meer dan 3.100 agenttrajecten geanalyseerd in diverse omgevingen, waaronder het web, besturingssystemen, databases en belichaamde settings. De experimenten betroffen agenten die gebruikmaakten van modellen van OpenAI en Anthropic. De bevindingen tonen aan dat de prestaties niet geleidelijk afnemen naarmate taken langer worden, maar stabiel kunnen blijven en vervolgens abrupt instorten boven een bepaalde drempel. Er werden zeven belangrijke categorieën van fouten geïdentificeerd, gegroepeerd in twee families: 72,5% van de fouten gerelateerd aan procesgerelateerde risico's en 27,5% aan risico's in het ontwerp van de agent. Anthropic benadrukt een fenomeen dat 'contextvervuiling' wordt genoemd, waarbij opgehoopte tusseninformatie de context van de agent vervuilt en het oordeelsvermogen aantast. De studie suggereert dat het opsplitsen van een taak in onafhankelijke subtaken die door afzonderlijke agenten worden uitgevoerd, werkt, terwijl het opsplitsen van fasen zoals ontwerp, implementatie en testen, die te veel context delen, leidt tot informatieverlies, vergelijkbaar met een spelletje doorfluisteren. Voor leidinggevenden zijn vier vragen essentieel: wie nam de beslissing, op basis van welke informatie, tegen welke kosten, en kan een enkele mislukte stap onafhankelijk worden herspeeld. Zonder herbruikbaarheid starten incidenten alles opnieuw, en onjuiste opsplitsing kan drie tot tien keer meer kosten dan een enkele agent.