Kỷ nguyên tự nghiên cứu: Tôi đi ngủ và 40 giả thuyết đã được kiểm chứng qua đêm — Tôi nên làm gì và làm việc tiếp thế nào?

Một kỹ sư mô tả cách, thay vì kiểm thử giả thuyết thủ công, anh ấy đã viết một mô tả văn bản về quy trình tạo giả thuyết, yêu cầu Gemini đánh giá từng lần thử, và để một tác nhân chạy qua đêm. Đến sáng, nhật ký cho thấy 40 giả thuyết đã được kiểm thử. Anh ấy so sánh những nỗ lực ban đầu ngây thơ của mình (chạy mười tác nhân song song mà không có kế hoạch) và nỗ lực thứ hai (đưa cho các tác nhân một chương trình nghị sự chi tiết) với cách tiếp cận lười biếng vào buổi tối đã hiệu quả. Anh ấy giải thích rằng điều mấu chốt không phải là kiểm soát tốt hơn các tác nhân mà là ai đánh giá kết quả. Anh ấy trích dẫn các tiền lệ: phân rã QR của sankalp đạt được tốc độ tăng gấp 232 lần trên phép phân rã QR theo lô, script nghiên cứu tự động 630 dòng của Karpathy đã chạy hàng trăm thí nghiệm qua đêm, và AlphaEvolve của DeepMind đã cải thiện giải pháp cho 20% trong số 50 bài toán mở và tăng tốc trung tâm dữ liệu, thiết kế chip và đào tạo AI của Google. Anh ấy chia sẻ hai trường hợp cá nhân: trong trường hợp đầu tiên, anh ấy dành hai tuần để tự tay xây dựng các bộ lọc dữ liệu, nhưng một oracle dựa trên Gemini với VLM đã đánh bại điều đó chỉ trong vài lần chạy; trong trường hợp thứ hai, anh ấy đạt được tăng tốc đào tạo 30% nhưng gặp phải cạm bẫy: anh ấy quên bao gồm kiểm tra tính nhất quán của mất mát (dẫn đến mất mát NaN), và một oracle không đủ chi tiết đã bỏ sót các sai sót như chữ cái còn sót lại trong quá trình loại bỏ văn bản trong ảnh. Anh ấy nhấn mạnh rằng việc xây dựng một oracle và vòng lặp tốt là công việc thực sự, và mô hình bên trong vòng lặp rất quan trọng. Anh ấy kết luận rằng chuyên môn đang chuyển dịch từ 'tìm ra giải pháp' sang 'xây dựng một hệ thống tìm ra giải pháp'.