Import AI 457: versión IA de Stuxnet; maldito optimizador Muon; y alineación positiva

Import AI 457 comienza con una investigación sobre un virus de más de 20 años llamado fast16.sys, que ataca selectivamente software de cálculo de alta precisión en campos como la ingeniería civil y la física, introduciendo errores sistemáticos. Investigadores de SentinelOne descubrieron que se utilizó para manipular simulaciones de LS-DYNA 970, PKPM y MOHID, y se ha vinculado con los programas de armas nucleares de Irán. El artículo establece paralelismos con cómo una superinteligencia podría obstaculizar el desarrollo de la IA rival. A continuación, Tilde Research investigó el optimizador Muon y descubrió que causa muerte neuronal en capas MLP, con más de una cuarta parte de las neuronas muriendo durante el calentamiento de la tasa de aprendizaje. Desarrollaron Aurora, un optimizador sensible al apalancamiento, que superó a Muon y NorMuon en transformadores de 1.1 mil millones de parámetros entrenados con aproximadamente 100 mil millones de tokens, logrando una pérdida menor y ganancias de 10 puntos en MMLU. Esto fue validado de forma independiente por el investigador Alexander Doria. Finalmente, un grupo de Oxford, DeepMind, OpenAI, Anthropic y otros publicó un artículo sobre 'alineación positiva', argumentando que después de lograr la seguridad, la IA debería apoyar activamente el florecimiento humano y ecológico de una manera pluralista y definida por el usuario. Critican los enfoques actuales de seguridad por posiblemente conducir a sistemas mediocres y serviles con sistemas de valores ocultos, y abogan por una gobernanza descentralizada para acomodar el pluralismo moral.