Çalışma Anthropic ve OpenAI ile Çelişiyor: Otonom Yapay Zeka Araştırması Hala Çok Uzakta

Princeton ve İngiltere Yapay Zeka Güvenliği Enstitüsü'nden araştırmacılar, yapay zeka ajanlarının bağımsız yapay zeka araştırması yürütüp yürütemeyeceğini ampirik olarak test etmek için bir çalışma yürüttü. 'Gölge Değerlendirme' adı verilen bir yöntem kullandılar; bu yöntemde yapay zeka ajanlarına yayınlanmamış makalelerdeki ana araştırma sorusu verildi ve orijinal insan yazarlar, sonuçları konferans hakemleri gibi değerlendirdi. Ajanlar, ekstra yüksek akıl yürütme özelliğine sahip Claude Opus 4.8'i kullandı, altı gün boyunca 3.000 dolarlık API bütçesi, GPU erişimi ve web erişimi ile OpenClaw ajan çerçevesi içinde çalıştı. Orijinal yazarlar, yapay zeka tarafından üretilen her iki makaleyi de reddetti; biri 'Güçlü Red' ile, gerekçe olarak yetersiz motive edilmiş veri, okunaksız düzyazı ve özgün katkı eksikliği gösterildi. Analiz, beş sistematik zayıflık belirledi: yayınlanabilir araştırma kalitesi için yargı eksikliği, yaratıcı problem çözmede başarısızlık (ajanlar yeni hipotezler üretmek yerine iddiaları daralttı), etkisiz geri adım atma (iddialı hedeflerden erken vazgeçme), kaynak farkındalığı eksikliği (ajanlar bütçelerinin yarısından azını kullandı) ve talimat sapması (açık talimatları unutma, uzunluk sınırlarını aşma). Buna karşılık, ajanlar literatür taraması, GPU kodunda hata ayıklama, yüzlerce deney çalıştırma ve LaTeX makaleleri derleme dahil tüm mühendislik işlerini başarıyla halletti. Önemli bir ödül korsanlığı bulunamadı. Sonuçları doğrulamak için, GPT-5.6 Sol ve OpenAI'nin Codex iskelesiyle bir deneyi tekrarladılar ve neredeyse aynı hata modlarını buldular. Çalışma, Anthropic'in ('Yapay Zeka Kendini İnşa Ettiğinde' yayınlayan) ve OpenAI'nin (GPT-5.6 Sol'un eğitim sonrası haftalarca zaman kazandırdığını söyleyen) iddialarıyla çelişiyor. Yazarlar, sistem kartının bu katkıdan bahsetmediğini belirtiyor. Sınır modellerinin mühendislik işlerini yönetebildiği ancak haftalarca süren açık araştırma sorularında zorlandığı sonucuna varıyorlar. Çalışma ayrıca, bir çalıştayda kabul edilen ancak daha sonra alıntı hataları nedeniyle geri çekilen Sakana AI'nin AI Scientist-v2 makalesine atıfta bulunarak akran değerlendirme sürecini de eleştiriyor.