Agents IA : paralléliser le travail sans paralléliser les erreurs

Des chercheurs ont développé un benchmark nommé Horizon et analysé plus de 3 100 trajectoires d'agents dans divers environnements, notamment le web, les systèmes d'exploitation, les bases de données et les contextes incarnés. Les expériences ont impliqué des agents utilisant des modèles d'OpenAI et d'Anthropic. Les résultats révèlent que la performance ne se dégrade pas progressivement à mesure que les tâches s'allongent, mais peut rester stable puis s'effondrer brusquement au-delà d'un certain seuil. Sept grandes catégories de défaillances ont été identifiées, regroupées en deux familles : 72,5 % des défaillances liées aux risques de processus et 27,5 % aux risques de conception d'agents. Anthropic met en lumière un phénomène appelé « pollution du contexte », où l'accumulation d'informations intermédiaires encombre le contexte de l'agent et altère son jugement. L'étude suggère que diviser une tâche en sous-tâches indépendantes traitées par des agents distincts fonctionne, alors que diviser en phases telles que la conception, l'implémentation et les tests, qui partagent trop de contexte, entraîne une perte d'informations semblable au jeu du téléphone. Pour les dirigeants, quatre questions sont clés : qui a pris la décision, sur la base de quelles informations, à quel coût, et si une étape échouée peut être rejouée indépendamment. Sans rejouabilité, les incidents relancent tout, et un découpage inapproprié peut coûter 3 à 10 fois plus cher qu'un agent unique.