Model Pertama Ilya Terungkap: Mesin Pelatihan Waktu-Uji SSI

Sebuah kebocoran di X oleh pengguna 'Three Strawberries' mengklaim bahwa startup milik Ilya Sutskever, SSI, sedang mengeksplorasi mesin penalaran kecil yang didasarkan pada Test-Time Training (TTT). Model ini menggunakan data yang dikurasi secara khusus untuk belajar cara belajar, kemudian memperbarui sebagian bobot selama pemecahan masalah, memungkinkan model kecil pun bersaing dengan model yang lebih besar. Pembocor tersebut menyarankan bahwa versi saat ini sudah siap dan versi berikutnya akan ditingkatkan sepuluh kali lipat, dengan versi saat ini kemungkinan debut pada awal Agustus untuk sejumlah pengguna terbatas. Ini sejalan dengan pernyataan Ilya sebelumnya tentang pembelajaran berkelanjutan dan AGI (Artificial General Intelligence), keyakinannya bahwa superinteligensi harus belajar setelah diterapkan, serta pengumuman baru-baru ini dari Nvidia tentang kemitraan strategis dan investasi di SSI, yang meningkatkan komputasi SSI hingga sepuluh kali lipat. Pendekatan TTT ini kontras dengan perluasan konteks konvensional, karena memperlakukan konteks sebagai data pelatihan, memungkinkan model mengubah dirinya sendiri selama inferensi, meskipun menimbulkan masalah keamanan, yang menurut pembocor telah diatasi oleh Ilya. SSI, yang didirikan pada tahun 2024, selama ini tertutup, tetapi kebocoran ini menunjukkan potensi terobosan. Berita ini juga merujuk pada makalah 'End-to-End Test-Time Training for Long Context' sebagai karya terkait.