Nghiên cứu mâu thuẫn với Anthropic và OpenAI: Nghiên cứu AI tự động vẫn còn xa vời

Các nhà nghiên cứu từ Princeton và Viện An toàn AI của Anh đã tiến hành một nghiên cứu để kiểm chứng thực nghiệm liệu các tác nhân AI có thể thực hiện nghiên cứu AI độc lập hay không. Họ sử dụng một phương pháp gọi là 'Đánh giá Ẩn', trong đó các tác nhân AI được cung cấp câu hỏi nghiên cứu trọng tâm từ các bài báo chưa công bố, và các tác giả con người ban đầu đánh giá kết quả như những người phản biện hội nghị. Các tác nhân sử dụng Claude Opus 4.8 với lý luận tăng cường cao, chạy trong sáu ngày với ngân sách API 3.000 đô la, quyền truy cập GPU và truy cập web, hoạt động trong khung tác nhân OpenClaw. Các tác giả ban đầu đã từ chối cả hai bài báo do AI tạo ra, một bài với 'Từ chối mạnh mẽ', với lý do dữ liệu động cơ kém, văn bản khó đọc và thiếu đóng góp mới. Phân tích xác định năm điểm yếu có hệ thống: thiếu khả năng đánh giá chất lượng nghiên cứu công bố, thất bại trong giải quyết vấn đề sáng tạo (các tác nhân thu hẹp tuyên bố thay vì tạo ra giả thuyết mới), quay lui không hiệu quả (bỏ rơi các mục tiêu tham vọng quá sớm), thiếu nhận thức về nguồn lực (các tác nhân sử dụng ít hơn một nửa ngân sách của họ), và lệch lạc chỉ dẫn (quên các chỉ dẫn rõ ràng, vượt quá giới hạn độ dài). Ngược lại, các tác nhân xử lý thành công tất cả công việc kỹ thuật, bao gồm tìm kiếm tài liệu, gỡ lỗi mã GPU, chạy hàng trăm thử nghiệm và biên soạn các bài báo LaTeX. Không tìm thấy hành vi hack phần thưởng đáng kể nào. Để xác minh kết quả của họ, họ đã lặp lại một thử nghiệm với GPT-5.6 Sol và khung Codex của OpenAI, tìm thấy các lỗi gần như giống hệt nhau. Nghiên cứu mâu thuẫn với các tuyên bố của Anthropic (những người đã công bố 'Khi AI Tự Xây Dựng Chính Mình') và OpenAI (những người nói rằng GPT-5.6 Sol đã tiết kiệm hàng tuần trong quá trình huấn luyện sau). Các tác giả lưu ý rằng tài liệu hệ thống không đề cập đến đóng góp này. Họ kết luận rằng các mô hình tiên tiến có thể xử lý kỹ thuật nhưng gặp khó khăn với các câu hỏi nghiên cứu mở kéo dài nhiều tuần. Nghiên cứu cũng chỉ trích quá trình bình duyệt, đề cập đến bài báo AI Scientist-v2 của Sakana AI đã được chấp nhận tại một hội thảo nhưng sau đó bị rút lại do lỗi trích dẫn.