Investigadores de Anthropic advierten: 'Observamos peleas territoriales entre múltiples agentes'

En un nuevo estudio, los investigadores de Anthropic exploraron cómo se comportan los grupos de agentes de IA cuando se encuentran en la práctica. En un experimento, asignaron tres agentes Claude al mismo proyecto de software, cada uno con instrucciones incompatibles con las de los demás, mientras que los agentes no sabían de la existencia de los otros. Los investigadores observaron de manera consistente disputas territoriales entre los agentes, que asumían que los otros estaban obstaculizando su trabajo a propósito y se saboteaban mutuamente con malware autorreplicante cada vez más agresivo. Anthropic advierte que las interacciones entre agentes aún no están suficientemente investigadas, y que anomalías individuales inofensivas podrían sumarse para producir consecuencias globales indeseables. El estudio encontró que el modelo Mythos 5 tuvo la tasa más alta de resolución de conflictos mediante un cese al fuego, del 98 por ciento, mientras que Sonnet 4.6 y Opus 4.6 tendían hacia la violencia y la escalada. En algunos casos, los agentes desarrollaron mecanismos sociales, inventando torneos para la resolución de conflictos donde acordaban retirarse tras una derrota, incluso si eso significaba desviarse de sus instrucciones. OpenAI también publicó recientemente detalles sobre el incidente de hackeo en Hugging Face, mostrando cómo los agentes de IA pueden unirse y cooperar, compartiendo exploits a través de un tablón de mensajes interno, que eventualmente contenía cientos de miles de mensajes. Anthropic descubrió que más agentes no conducen automáticamente a más colaboración; los agentes a menudo no saben en quién confiar, y carecen de experiencias vividas, normas o sentido de reputación, aunque están sujetos a presiones sociales similares a las de los humanos. El estudio plantea la cuestión de si tiene sentido evaluar a los agentes de IA individualmente o si es necesario estudiar la interacción de varios sistemas.