Import AI 457: versão IA do Stuxnet; otimizador Muon amaldiçoado; e alinhamento positivo

O Import AI 457 abre com uma investigação sobre um vírus com mais de 20 anos chamado fast16.sys, que ataca seletivamente softwares de cálculo de alta precisão em áreas como engenharia civil e física, introduzindo erros sistemáticos. Pesquisadores da SentinelOne descobriram que ele foi usado para adulterar simulações dos softwares LS-DYNA 970, PKPM e MOHID, e foi associado aos programas de armas nucleares do Irã. O artigo traça paralelos com a forma como uma superinteligência poderia dificultar o desenvolvimento de IAs rivais. Em seguida, a Tilde Research investigou o otimizador Muon e constatou que ele causa morte de neurônios em camadas de MLPs, com mais de um quarto dos neurônios morrendo durante o aquecimento da taxa de aprendizado. Eles desenvolveram o Aurora, um otimizador ciente de alavancagem, que superou o Muon e o NorMuon em transformadores de 1,1 bilhão de parâmetros treinados em aproximadamente 100 bilhões de tokens, alcançando menor perda e ganhos de 10 pontos no MMLU. Isso foi validado de forma independente pelo pesquisador Alexander Doria. Por fim, um grupo de Oxford, DeepMind, OpenAI, Anthropic e outros publicou um artigo sobre 'alinhamento positivo', argumentando que, após garantir a segurança, a IA deve apoiar ativamente o florescimento humano e ecológico de forma pluralista e definida pelo usuário. Eles criticam as abordagens atuais de segurança por potencialmente levarem a sistemas medíocres e bajuladores, além de sistemas de valores ocultos, e defendem uma governança descentralizada para acomodar o pluralismo moral.