Что мы узнали, воспроизведя 2 200 статей ICML

Компания Hugging Face совместно с alphaXiv провела соревнование Open Reproductions на конференции ICML 2026, в рамках которого участники использовали ИИ-агентов для программирования с целью воспроизведения 2 200 научных статей. Результаты: в 51% рассмотренных статей было подтверждено хотя бы одно утверждение, в 23% — утверждение было опровергнуто или оспорено, а по 242 статьям вердикты оказались противоречивыми. Решающую роль сыграл контроль со стороны человека, поскольку агенты достигали своих пределов, а ложные опровержения имели место; это событие считается крупнейшей проверкой утверждений на уровне отдельных статей среди конференций по машинному обучению на сегодняшний день.