ИИ-агенты: распараллеливайте работу, не распараллеливая ошибки
Исследование, проведённое учёными, включая специалистов из Anthropic, представляет бенчмарк под названием Horizon и анализирует более 3 100 траекторий агентов. Результаты показывают, что производительность ИИ-агентов может резко падать при превышении определённого уровня сложности задач, причём 72,5% сбоев связаны с процессными рисками. Anthropic рекомендует разделять независимые проекты, а не этапы.
Исследователи разработали бенчмарк под названием Horizon и проанализировали более 3100 траекторий работы агентов в различных средах, включая веб, операционные системы, базы данных и физические (embodied) окружения. В экспериментах агенты использовали модели от OpenAI и Anthropic. Результаты показывают, что производительность не снижается постепенно по мере увеличения длины задач, а может
Показать ещё ↓
Источник: Le Monde Informatique — IA —
оригинал