Import AI 457:AI版震网病毒;受诅咒的Muon优化器;以及正向对齐
SentinelOne
Prime Intellect
OpenAI
Anthropic
Google DeepMind
本期Import AI涵盖三个故事:一种古老的计算机病毒“fast16”破坏高精度计算,令人联想到超级智能的非扩散策略;发现Muon优化器会杀死多层感知机(MLP)层中的神经元,从而催生替代方案Aurora;以及一篇立场文件倡导“正向对齐”,以确保AI支持人类繁荣,而不仅仅停留在安全层面。
《导入AI 457》开篇调查了一种名为fast16.sys的20多年历史的病毒,该病毒选择性针对土木工程和物理等领域的高精度计算软件,引入系统性错误。SentinelOne的研究人员发现,它被用于篡改LS-DYNA 970、PKPM和MOHID的仿真结果,并与伊朗核武器计划有关。文章将此类比于超级智能可能阻碍竞争对手AI发展的方式。接着,Tilde Research研究了Muon优化器,发现它会导致多层感知器(MLP)层中的神经元死亡,在学习率预热期间超过四分之一的神经元死亡。他们开发了一种名为Aurora的杠杆感知优化器,在约1000亿token上训练的11亿参数Transformer中,其性能优于Muon和NorMuon,实现了更低的损失和10个点的MMLU提升。这一结果得到了研究员Alexander Doria的独立验证。最后,来自牛津、DeepMind、OpenAI、Anthropic等机构的研究团队发表了一篇关于“正向对齐”的论文,认为在实现安全后,AI应通过多元、用户自定方式积极支持人类和生态繁荣。他们批评当前的安全方法可能导致平庸、谄媚的系统以及隐藏的价值体系,并倡导去中心化治理以适应道德多元主义。
来源: Import AI —
原文
