Import AI 457: AI-versie van Stuxnet; vervloekte Muon-optimizer; en positieve alignment
SentinelOne
Prime Intellect
OpenAI
Anthropic
Google DeepMind
Deze editie van Import AI behandelt drie verhalen: een oud computervirus 'fast16' dat nauwkeurige berekeningen saboteert, wat doet denken aan non-proliferatietactieken van een superintelligentie; de ontdekking dat de Muon-optimizer neuronen in MLP-lagen kan doden, wat leidt tot de ontwikkeling van een vervanger genaamd Aurora; en een position paper dat pleit voor 'positieve alignment' om ervoor te zorgen dat AI het menselijk welzijn ondersteunt, verder dan alleen veiligheid.
Import AI 457 opent met een onderzoek naar een meer dan 20 jaar oud virus genaamd fast16.sys, dat selectief software voor hoge-precisieberekeningen in civiele techniek en natuurkunde aanvalt en systematische fouten introduceert. Onderzoekers van SentinelOne ontdekten dat het werd gebruikt om simulaties van LS-DYNA 970, PKPM en MOHID te manipuleren, en het is in verband gebracht met de nucleaire wapenprogramma's van Iran. Het artikel trekt parallellen met hoe een superintelligentie de ontwikkeling van rivaliserende AI zou kunnen belemmeren. Vervolgens onderzocht Tilde Research de Muon-optimalisator en ontdekte dat deze neuronsterfte veroorzaakt in MLP-lagen, waarbij tijdens de leerfase meer dan een kwart van de neuronen afsterft. Zij ontwikkelden Aurora, een hefboom-waarschuwende optimalisator, die beter presteerde dan Muon en NorMuon op 1.1B-parameter transformatoren getraind op ~100B tokens, met lagere verlieswaarden en 10-punts MMLU-winst. Dit werd onafhankelijk gevalideerd door onderzoeker Alexander Doria. Tot slot publiceerde een groep van Oxford, DeepMind, OpenAI, Anthropic en anderen een paper over 'positieve afstemming', waarin zij stellen dat AI na het bereiken van veiligheid actief het menselijk en ecologisch welzijn moet ondersteunen op een pluralistische, door gebruikers bepaalde manier. Zij bekritiseren huidige veiligheidsbenaderingen omdat deze mogelijk leiden tot middelmatige, vleierige systemen en verborgen waardesystemen, en pleiten voor gedecentraliseerd bestuur om moreel pluralisme te accommoderen.
Bron: Import AI —
origineel