Claude Fable 5, Sıfırdan Kod Yeniden Yazmada GPT-5.6'yı Geride Bıraktı. İşte Nedeni

Epoch AI, MirrorCode liderlik tablosunu güncelledi ve Anthropic'in Claude Fable 5'in görevlerin %64'ünü çözdüğünü, OpenAI'ın GPT-5.6 Sol'un ise yalnızca %20'sini başardığını ortaya koydu. Modeller diğer testlerde benzer performans gösterdiğinden bu üç katlık fark anormal görünüyor, ancak Epoch AI ve Anthropic resmi bir açıklama yapmadı. METR ile geliştirilen MirrorCode, modellerin yalnızca çalıştırılabilir bir 'kara kutu', dokümantasyon ve görünür testler görebildiği; tüm gizli testleri geçmesi gereken çözümlerle programları sıfırdan yeniden yazmalarını gerektiriyor. Kıyaslama, sed ve Ruff gibi her biri iki dilde uygulanmış 15 gerçek programı içeriyor ve deneme başına 10 milyar token ve 7 günlük bir bütçe tanıyor. Isı haritası analizi, Sol'un görevleri sıklıkla kısmen çözdüğünü (%50, %33, %17 başarı oranları) gösterirken, Fable'ın neredeyse her zaman tamamladığını (%100, %83) gösteriyor. Başka bir ipucu: Fable'ın performansı Ada'da yalnızca hafif düşüş gösterirken (Go'da %64'e karşı %61), OpenAI modelleri Ada'da önemli ölçüde kaybediyor — Sol %24'ten %19'a, GPT-5.4 %21'den %12'ye ve GPT-5.5 %17'den %5'e düşüyor. Bu programların neredeyse hiçbir Ada uygulaması eğitim verilerinde bulunmadığından, Fable'ın Ada'daki dayanıklılığı ezberden ziyade gerçek bir beceriye işaret ediyor. Ancak Epoch'un kendi kirlenme kontrolü, 25 programın 17'sinde ezber belirtileri buldu ve kıyaslamanın tam spesifikasyon ortamı gerçek dünya geliştirmesinden farklı.