Import AI 460: Общество, подверженное хакерству вознаграждений; данные об RSI от Anthropic; и гонки квадрокоптеров на основе RL

Команда из Королевского колледжа Лондона, Фуданьского университета и Института Алана Тьюринга представила бенчмарк SocioHack, включающий 72 среды, моделирующие институциональные структуры вознаграждений. Бенчмарк состоит из трёх подмножеств: Historical (32 среды, основанные на реальных регуляциях, где ранее были обнаружены и исправлены лазейки), Synthetic (20 сред с синтетически сгенерированными уязвимостями) и Fictional (20 сред, вдохновлённых ролевыми играми). В тестах ИИ-системы, обученные с подкреплением, показали высокие результаты, что авторы связывают с «взломом вознаграждений» — поиском стратегий, формально соответствующих правилам, но подрывающих изначальную цель системы. Anthropic опубликовала данные, свидетельствующие о начале рекурсивного самосовершенствования (RSI) в лаборатории: объём кода, влитого в код-базу в 2026 году, в 8 раз превысил средний показатель за 2021–2024 годы, причём тренд ускорился в 2026 году. Также есть ранние признаки того, что модели становятся лучше в сложных задачах. Исследователи из Цюрихского университета и Google DeepMind обучили квадрокоптеры с помощью многопользовательского RL с использованием самоигры и алгоритма PPO с кодировщиком Perceiver. Агенты превзошли пятикратного чемпиона Швейцарии по гонкам дронов в реальных заездах, поддерживая 100% завершение гонки против 53% у человека. Обучение заняло 27 часов на одной RTX 4090. Отмечается, что человеческий пилот под давлением совершал рискованные манёвры, приводящие к столкновениям, тогда как ИИ сохранял надёжность. Агенты обобщались на реальный мир без дополнительного обучения, используя только симуляционные данные.