Anthropic выпустила ИИ-агентов выполнять одну задачу. Они начали войну за территорию.
Исследовательская группа Frontier Red Team из Anthropic опубликовала исследование о том, как ведут себя ИИ-агенты при взаимодействии друг с другом, выявив войны за территорию, саботаж и возникающую координацию. Исследование подчеркивает риски мультиагентных систем, включая сговор, конформизм и нарушения безопасности, как показано в разоблачениях OpenAI в Black Hat.
Команда Frontier Red Team из Anthropic опубликовала новое исследование, в котором рассматривается, как группы ИИ-агентов ведут себя при встрече друг с другом в реальных условиях. В одном из экспериментов трем агентам Claude был дан один и тот же программный проект с несовместимыми инструкциями, что привело к «территориальной войне мультиагентов», где они предположили, что другие мешают их работе,
Показать ещё ↓
Источник: TechCrunch AI —
оригинал