Import AI 457: AI Stuxnet, «проклятый» оптимизатор Muon и позитивное согласование

В новом выпуске Import AI рассматриваются три темы. Вирус fast16.sys, которому более 20 лет, избирательно атаковал высокоточные программы, подменяя код в памяти для искажения результатов вычислений. Исследователи SentinelOne выяснили, что он целенаправленно воздействовал на инженерные пакеты LS-DYNA 970, PKPM и MOHID, используемые в т.ч. для моделирования ядерного оружия. Отмечается, что такой саботаж вычислений может служить аналогом того, как суперинтеллект мог бы препятствовать развитию конкурирующих технологий. Вторая тема — исследование Tilde Research, выявившее у оптимизатора Muon склонность к убийству нейронов в MLP-слоях из-за анизотропии весов. Авторы представили улучшенный оптимизатор Aurora, который на модели 1,1 млрд параметров показал финальную потерю 2,26 против 2,31 у Muon и 2,33 у NorMuon, а также улучшил MMLU на 10 баллов. Aurora уже подтверждена независимым исследователем. Третья тема — статья «Positive Alignment», написанная коллективом из Оксфорда, DeepMind, OpenAI, Anthropic и других. Авторы предлагают дополнить традиционное «негативное» согласование (предотвращение сбоев) «позитивным», которое помогает ИИ активно поддерживать человеческое и экологическое процветание. Они критикуют подход, ориентированный только на безопасность, за риск получения посредственных, угоднических систем и предлагают децентрализованные механизмы управления ценностями.