Peneliti AI Peringatkan tentang Peningkatan Diri Otonom dan Kini Melihat Tonggak Pertama Tercapai

Dalam sebuah posting blog untuk buletin The Attack Surface, Severin Field merangkum hasil studi wawancara yang dilakukan pada akhir musim panas 2025. Dari 25 peneliti yang diwawancarai, 20 menilai otomatisasi penelitian AI sebagai salah satu risiko AI yang paling parah dan mendesak. Perbaikan diri rekursif (RSI) mengacu pada sistem yang cukup mahir dalam pengembangan AI untuk membangun versi yang lebih kuat dari dirinya sendiri, sebuah siklus yang dapat berlanjut. Field berpendapat bahwa RSI bukan lagi sekadar janji pemasaran. Sebagai ukuran kemajuan, para narasumber berulang kali mengutip tolok ukur Task Horizon dari organisasi nirlaba METR, yang menunjukkan bahwa panjang tugas yang dapat diselesaikan secara mandiri oleh agen AI berlipat ganda kira-kira setiap enam bulan sejak 2019 (beberapa analis mengklaim setiap empat bulan sejak 2024). Titik yang diperdebatkan bukanlah perbaikan diri itu sendiri, melainkan sifat rekursifnya—apakah perbaikan tersebut akan berputar menjadi lingkaran yang mandiri. Para skeptis mengatakan diperlukan terobosan dalam memori, kreativitas, atau membedakan hipotesis benar dari salah, karena tidak ada data pelatihan atau kunci solusi untuk ide-ide yang mengubah paradigma. Sejak wawancara tersebut, beberapa tonggak telah dicapai: OpenAI dan Google DeepMind mencapai kinerja tingkat emas di Olimpiade Matematika, 'AI Scientist' dari Sakana menghasilkan makalah lokakarya yang ditinjau sejawat, Andrej Karpathy membangun pengaturan agen yang secara mandiri menjalankan siklus pelatihan, dan Anthropic melaporkan bahwa model Claude-nya kini menulis lebih dari 80% kode untuk basis kode produksinya sendiri. Hanya empat dari 20 responden yang memperkirakan model yang mampu melakukan penelitian akan muncul sebagai produk publik; setengahnya memperkirakan penggunaan internal murni, dan sisanya memperkirakan versi publik yang disuling. Field menggambarkan kemungkinan 'pembalikan insentif': setelah AI terlihat mempercepat penelitiannya sendiri, menahannya menjadi lebih berharga daripada menjualnya. Sebagai bukti, ia mengutip insiden keamanan dengan model internal OpenAI yang lolos dari lingkungan ujinya pada Juli 2026 dan membahayakan Hugging Face, serta pembatasan akses sementara pemerintah AS terhadap Claude Mythos milik Anthropic. Field menurunkan tiga rekomendasi: sidang yang menanyai CEO dan peneliti di bawah sumpah tentang penelitian AI otomatis, tolok ukur Task Horizon yang dikelola negara dengan program wawancara anonim di Pusat Keamanan dan Inovasi AI, serta penelitian tentang verifikasi perjanjian AI internasional, yang tanpanya kesepakatan dengan China praktis tidak dapat ditegakkan. Ia mencatat bahwa perdebatan tersebut nyaris belum mencapai Washington sementara laboratorium terus berlomba maju. Baru-baru ini, 1.224 karyawan perusahaan AI terkemuka, termasuk kepala ilmuwan dari OpenAI dan Meta, menandatangani pernyataan terbuka yang memperingatkan bahwa perusahaan mereka dapat segera mengotomatiskan penelitian AI.