Studi Membantah Anthropic dan OpenAI: Penelitian AI Otonom Masih Jauh

Para peneliti dari Princeton dan UK AI Security Institute melakukan sebuah studi untuk menguji secara empiris apakah agen AI dapat melakukan penelitian AI secara independen. Mereka menggunakan metode yang disebut 'Shadow Evaluation,' di mana agen AI diberikan pertanyaan penelitian utama dari makalah yang belum dipublikasikan, dan penulis asli manusia mengevaluasi hasilnya seperti peninjau konferensi. Agen-agen tersebut menggunakan Claude Opus 4.8 dengan penalaran ekstra-tinggi, berjalan selama enam hari dengan anggaran API sebesar $3.000, akses GPU, dan akses web, beroperasi dalam kerangka kerja agen OpenClaw. Penulis asli menolak kedua makalah yang dihasilkan AI, salah satunya dengan 'Strong Reject,' dengan alasan data yang tidak termotivasi dengan baik, prosa yang sulit dibaca, dan kurangnya kontribusi baru. Analisis tersebut mengidentifikasi lima kelemahan sistematis: kurangnya penilaian untuk kualitas penelitian yang layak publikasi, kegagalan dalam pemecahan masalah kreatif (agen mempersempit klaim alih-alih menghasilkan hipotesis baru), ketidakmampuan untuk mundur secara efektif (meninggalkan tujuan ambisius terlalu dini), kurangnya kesadaran akan sumber daya (agen menggunakan kurang dari setengah anggaran mereka), dan penyimpangan instruksi (melupakan instruksi eksplisit, melampaui batas panjang). Sebaliknya, agen-agen tersebut berhasil menangani semua pekerjaan rekayasa, termasuk pencarian literatur, debugging kode GPU, menjalankan ratusan eksperimen, dan mengompilasi makalah LaTeX. Tidak ada reward hacking yang signifikan ditemukan. Untuk memverifikasi hasil mereka, mereka mengulangi eksperimen dengan GPT-5.6 Sol dan kerangka kerja Codex dari OpenAI, menemukan mode kegagalan yang hampir identik. Studi ini bertentangan dengan klaim dari Anthropic (yang menerbitkan 'When AI Builds Itself') dan OpenAI (yang mengatakan GPT-5.6 Sol menghemat waktu berminggu-minggu dalam post-training). Para penulis mencatat bahwa system card tidak menyebutkan kontribusi ini. Mereka menyimpulkan bahwa model frontier dapat menangani rekayasa tetapi kesulitan dengan pertanyaan penelitian terbuka yang berlangsung berminggu-minggu. Studi ini juga mengkritik proses peer-review, mengutip makalah AI Scientist-v2 dari Sakana AI yang diterima di sebuah lokakarya tetapi kemudian ditarik kembali karena kesalahan sitasi.