Import AI 457: Stuxnet-like AI, cursed Muon optimizer, and positive alignment

Analis SentinelOne menganalisis virus komputer berusia 20 tahun, fast16.sys, dan menemukan bahwa virus tersebut secara selektif menyerang perangkat lunak komputasi presisi tinggi dengan memodifikasi kode di memori untuk mendistorsi hasil komputasi. Virus ini menargetkan paket teknik dan simulasi seperti LS-DYNA 970, PKPM, dan MOHID, yang digunakan antara lain dalam pemodelan senjata nuklir. Para peneliti berhipotesis bahwa ini mungkin merupakan bagian dari program untuk memperlambat kemajuan ilmiah di negara-negara tertentu. Dalam studi lain, Tilde Research menemukan bahwa pengoptimal Muon menyebabkan kematian neuron di lapisan MLP karena anisotropi norma baris, yang menurunkan kualitas model. Sebagai respons, mereka mengembangkan pengoptimal Aurora yang memperhitungkan "leverage" matriks. Pada model dengan 1,1 miliar parameter yang dilatih pada ~100 miliar token, Aurora mencapai loss yang lebih rendah dan meningkatkan hasil pada tolok ukur, termasuk peningkatan MMLU sebesar 10 poin dibandingkan dengan Muon. Sekelompok peneliti dari Oxford, DeepMind, OpenAI, Anthropic, dan organisasi lainnya menerbitkan makalah posisi yang memperkenalkan konsep "penyelarasan positif" (positive alignment). Berbeda dengan pendekatan tradisional yang berfokus pada pencegahan kegagalan, penyelarasan positif melibatkan penciptaan sistem AI yang secara aktif mendukung kesejahteraan manusia dan lingkungan, dengan mempertimbangkan pluralisme nilai dan tata kelola terdesentralisasi. Prime Intellect juga melakukan eksperimen di mana agen LLM (Codex dan Claude Code) secara otonom mengoptimalkan pelatihan model lain, nanoGPT, dengan menjalankan sekitar 10 ribu percobaan dan menghabiskan ~14 ribu jam H200. Para agen melampaui baseline manusia, tetapi tidak dapat menghasilkan ide-ide baru dan cenderung mengakumulasi komponen tanpa henti tanpa melakukan refaktorisasi.