AI Mengungkap Cacat pada 99.2% Makalah Teratas!

Para peneliti telah menggunakan agen AI untuk mengaudit makalah dari konferensi AI terkemuka, menemukan bahwa banyak hasil yang dipublikasikan tidak dapat direproduksi. Misalnya, audit agen AI terhadap semua 168 presentasi lisan di ICML 2026 mengungkapkan bahwa dari 92 makalah dengan setidaknya lima klaim yang dapat diverifikasi, hanya 34 yang dapat mereproduksi lebih dari 40% kesimpulan, dan hanya 8 yang dapat mereproduksi lebih dari 80%. Selain itu, empat makalah bergantung pada model yang telah dihapus dari layanan, membuat hasilnya secara permanen tidak dapat direproduksi. Studi lain mengembangkan pemeriksa makalah berbasis GPT-5 yang menganalisis makalah dari konferensi AI terkemuka, menemukan bahwa rata-rata setiap makalah mengandung 4,7 kesalahan objektif, dan 99,2% makalah memiliki setidaknya satu masalah. Kesalahan matematis dan rumus adalah yang paling umum (54,0%). Jumlah kesalahan per makalah NeurIPS meningkat dari 3,8 pada tahun 2021 menjadi 5,9 pada tahun 2025. Temuan ini menyoroti masalah yang berkembang dalam reproduktibilitas ilmiah dan menyarankan peluang untuk arah penelitian baru, seperti meninjau makalah lama dan mengoreksi kesalahan. Selain itu, seorang ahli kimia teoretis di Laboratorium Zhejiang menemukan bahwa AI memprediksi titik didih yang berbeda dari basis data berusia 75 tahun, dan setelah verifikasi manual, AI tersebut benar, mengungkapkan kesalahan dalam pengukuran berusia satu abad. Ini menunjukkan bahwa AI kini dapat membantu mengevaluasi ulang literatur ilmiah historis.