Agentes de IA: paraleliza el trabajo sin paralelizar errores

Los investigadores han desarrollado un punto de referencia denominado Horizon y han analizado más de 3.100 trayectorias de agentes en diversos entornos, incluyendo la web, sistemas operativos, bases de datos y entornos encarnados. Los experimentos involucraron agentes que utilizan modelos de OpenAI y Anthropic. Los hallazgos revelan que el rendimiento no se degrada gradualmente a medida que las tareas se alargan, sino que puede mantenerse estable y luego colapsar abruptamente más allá de un cierto umbral. Se identificaron siete categorías principales de fallos, agrupadas en dos familias: el 72,5% de los fallos asociados con riesgos relacionados con el proceso y el 27,5% con riesgos de diseño del agente. Anthropic destaca un fenómeno llamado 'contaminación del contexto', donde la información intermedia acumulada satura el contexto del agente y perjudica su juicio. El estudio sugiere que dividir una tarea en subtareas independientes manejadas por agentes separados funciona, mientras que dividir fases como diseño, implementación y prueba, que comparten demasiado contexto, conlleva una pérdida de información similar al juego del teléfono. Para los ejecutivos, cuatro preguntas son clave: quién tomó la decisión, basándose en qué información, a qué costo y si un solo paso fallido puede reproducirse de manera independiente. Sin reproducibilidad, los incidentes reinician todo, y una división inadecuada puede costar de 3 a 10 veces más que un agente único.