Era Riset Otomatis: Saya Tidur dan 40 Hipotesis Teruji Semalam — Apa yang Harus Saya Lakukan dan Bagaimana Bekerja ke Depan?

Seorang insinyur menjelaskan bagaimana, alih-alih menguji hipotesis secara manual, dia menulis deskripsi teks tentang pipeline pembuatan hipotesis, meminta Gemini untuk menilai setiap percobaan, dan membiarkan agen berjalan semalaman. Di pagi hari, log menunjukkan 40 hipotesis telah diuji. Dia membandingkan upaya awalnya yang naif (menjalankan sepuluh agen secara paralel tanpa rencana) dan upaya keduanya (memberi agen agenda terperinci) dengan pendekatan santai di malam hari yang berhasil. Dia menjelaskan bahwa kuncinya bukanlah kontrol yang lebih baik atas agen, tetapi siapa yang mengevaluasi hasilnya. Dia menyebutkan preseden: dekomposisi QR milik sankalp mencapai percepatan 232x pada QR batch, skrip autoresearch 630-baris milik Karpathy menjalankan ratusan eksperimen semalaman, dan AlphaEvolve milik DeepMind meningkatkan solusi untuk 20% dari 50 masalah matematika terbuka dan mempercepat pusat data, desain chip, serta pelatihan AI Google. Dia berbagi dua kasus pribadi: pada kasus pertama, dia menghabiskan dua minggu menyusun filter dataset secara manual, tetapi oracle berbasis Gemini dengan VLM mengalahkannya dalam beberapa kali percobaan; pada kasus kedua, dia mendapatkan percepatan pelatihan 30% tetapi menemui kendala: dia lupa menyertakan pemeriksaan paritas loss (menyebabkan loss NaN), dan oracle yang kurang detail melewatkan artefak seperti sisa huruf dalam penghapusan teks-gambar. Dia menekankan bahwa membangun oracle dan loop yang baik adalah pekerjaan sebenarnya, dan model di dalam loop itu penting. Dia menyimpulkan bahwa keahlian bergeser dari "menemukan solusi" menjadi "membangun sistem yang menemukan solusi".