Laporan Lapangan OpenAI: Agen AI menulis ulang perangkat lunak riset yang rapuh, tetapi peneliti harus memverifikasi secara ketat

Laporan lapangan oleh OpenAI dan mitra akademis mendokumentasikan delapan studi kasus, sebagian besar di bidang biologi, di mana agen pengkode seperti Codex dan Claude Code digunakan untuk memelihara, mengoptimalkan, atau menulis ulang perangkat lunak penelitian. Proyek-proyek tersebut berkisar dari pemeliharaan sederhana hingga penulisan ulang lengkap dalam bahasa modern. Misalnya, GPT-5.5 memodernisasi proses pembangunan untuk pustaka Python cyvcf2, sementara dua agen, Claude Code dan Codex, memigrasikan sekitar 10.000 baris MHCflurry dari TensorFlow ke PyTorch. Proyek rustar-aligner menulis ulang STAR, alat C/C++ dengan ribuan baris, dalam Rust, mencapai kesesuaian 99,815% dan 99,883% dengan versi asli pada kumpulan data uji. RustQC, yang menggabungkan 15 alat kontrol kualitas, mengurangi waktu proses dari 15 jam 34 menit menjadi 14 menit 54 detik—faktor lebih dari 60. HelixForge, pengganti BamSurgeon, 59,6 kali lebih cepat secara keseluruhan, dengan komputasi inti 98,6 kali lebih cepat. Namun, agen sering kali tampak yakin tetapi salah; misalnya, dalam penulisan ulang bayesm, dua prosedur mengandung kesalahan halus, termasuk parameter kontrol yang terbalik dan faktor skala yang cacat. Para peneliti menyimpulkan bahwa manusia harus menentukan tujuan, kriteria keberhasilan, dan metode validasi, sementara agen menangani implementasi. Laporan tersebut memperkirakan penghematan waktu yang signifikan—misalnya, memelihara NumPy dapat menghemat sekitar 650 jam per tahun—tetapi menyoroti pemeliharaan jangka panjang dan tanggung jawab sebagai tantangan utama. Beberapa perubahan digabungkan ke hulu, sementara yang lain, seperti FastQC, ditolak oleh penulis asli, yang menyebabkan perbaikan dimasukkan ke dalam versi Java asli sebagai gantinya. Laporan ini bersifat retrospektif dan didasarkan pada laporan diri, serta mencatat bahwa hambatan bergeser dari implementasi ke validasi dan tinjauan ilmiah. Pola ini juga digaungkan oleh studi METR dan studi tentang frustrasi tim pengembang terhadap kode AI. Laporan tersebut sejalan dengan strategi sains OpenAI yang lebih luas, yang mencakup tim khusus yang dipimpin oleh Kevin Weil dan rilis GPT-Rosalind.