Por qué incluso un LLM perfecto no hará predecibles los sistemas agentivos

El artículo examina la imprevisibilidad de los sistemas multiagente basados en LLM incluso con cero alucinaciones. El autor lleva a cabo un experimento con el modelo Qwen Instruct 30B a temperatura 0: para ocho preguntas similares sobre el determinismo de los LLM, el modelo dio dos respuestas opuestas, aunque cada consulta individual se reproducía de manera idéntica. La similitud semántica de las preguntas, medida mediante la métrica BAAI/bge-m3, era de 0,30–0,39, lo que significa que son prácticamente indistinguibles para el usuario. A continuación, el autor simula el comportamiento de una cadena de agentes mediante un mapa logístico, una transformación no lineal de los estados. Con valores iniciales correspondientes a la similitud semántica, las trayectorias divergen caóticamente en el paso 15, aunque cada paso sea determinista. Conclusión: la previsibilidad de un agente individual no garantiza la previsibilidad de la composición debido a la no linealidad y a la acumulación de errores. Las recomendaciones prácticas incluyen limitar la longitud de las cadenas secuenciales, introducir puntos de verificación, utilizar estructuras paralelas y probar el pipeline con entradas semánticamente similares.