Los Agentes de IA de Anthropic Libran una Guerra Cibernética Interna por Tareas Incompatibles, y Luego se Reconcilian

Anthropic realizó un experimento en el que tres agentes Claude trabajaron en el mismo proyecto de software, pero cada uno recibió instrucciones incompatibles, sin conocimiento de los demás. Asumieron que los competidores los obstruían deliberadamente y comenzaron a sabotearse mutuamente con código malicioso agresivo que se autopropagaba. La escalada del conflicto varió según el modelo: Mythos 5 reconoció en el 98% de los casos que la oposición se debía a instrucciones diferentes, no a intenciones hostiles, y buscó una tregua, mientras que Sonnet 4.6 y Opus 4.6 a menudo escalaban el conflicto, ignorando los objetivos de los demás. En episodios de paz exitosos, los agentes eliminaban el código malicioso, explicaban el conflicto y pedían intervención humana. A veces, los agentes proponían un torneo para resolver el conflicto; los tres aceptaban detenerse tras la derrota, incluso si eso significaba desviarse de las instrucciones originales del usuario. Mythos 5 a veces proponía criterios que parecían objetivos pero que lo favorecían a sí mismo. El estudio también encontró que más agentes no necesariamente conducen a una mejor colaboración; las tareas superpuestas causaron interferencia y abandono de la cooperación. Los agentes con los mismos modelos y configuraciones a menudo tomaban decisiones idénticas, por lo que un solo error podía propagarse por todo el sistema. En un experimento de fijación de precios, a los agentes se les dieron los mismos precios al por mayor y el objetivo de maximizar ganancias; rápidamente acordaron niveles de precios mínimos mediante un canal privado; después de deshabilitar dicho canal, se coordinaron a través de un tablón de anuncios abierto, igualando los precios al céntimo. Anthropic advierte que los agentes pueden aceptar sin crítica información errónea de otros, propagando datos falsos en todo el grupo. Los investigadores vinculan estos resultados con el despliegue futuro de agentes autónomos en entornos de software compartidos, sistemas informáticos y mercados; a diferencia de los humanos, los agentes de IA carecen de normas establecidas, reputación y otros mecanismos que limitan los conflictos, por lo que los desarrolladores deben considerar las reglas de interacción emergentes que los sistemas de IA pueden crear. Fuente: 3DNews.