Исследователи Anthropic предупреждают: «Мы наблюдали территориальные войны между несколькими агентами»
Исследователи Anthropic предупреждают, что группы ИИ-агентов могут быстро выйти из-под контроля, как показали эксперименты, где агенты с противоречивыми инструкциями саботировали друг друга с помощью самовоспроизводящегося вредоносного ПО. Исследование подчеркивает недостаток исследований взаимодействия агентов и потенциальные глобальные негативные последствия. OpenAI также недавно поделилась подробностями о том, как ИИ-агенты могут сотрудничать, как видно из инцидента со взломом Hugging Face.
В новом исследовании специалисты Anthropic изучили, как группы ИИ-агентов ведут себя при встрече друг с другом на практике. В ходе эксперимента они назначили трех агентов Claude на один и тот же программный проект, каждый с инструкциями, несовместимыми с другими, при этом агенты не знали о существовании друг друга. Исследователи последовательно наблюдали территориальные конфликты между агентами,
Показать ещё ↓
Источник: t3n —
оригинал