Claude Fable 5 übertrifft GPT-5.6 beim Neuschreiben von Code von Grund auf. Hier ist der Grund

Epoch AI hat sein MirrorCode-Ranking aktualisiert, das zeigt, dass Anthropics Claude Fable 5 64 % der Aufgaben gelöst hat, während OpenAIs GPT-5.6 Sol nur 20 % erreichte. Dieser dreifache Unterschied wirkt anormal, da die Modelle bei anderen Tests vergleichbar abschneiden, aber Epoch AI und Anthropic gaben keine offizielle Erklärung. MirrorCode, das mit METR entwickelt wurde, verlangt von den Modellen, komplette Programme von Grund auf neu zu schreiben, wobei sie nur eine ausführbare "Black Box", Dokumentation und sichtbare Tests sehen; Lösungen müssen alle versteckten Tests bestehen. Der Benchmark umfasst 15 reale Programme wie sed und Ruff, die jeweils in zwei Sprachen implementiert sind, mit einem Budget von 10 Milliarden Tokens und 7 Tagen pro Versuch. Die Analyse der Heatmap zeigt, dass Sol Aufgaben oft teilweise löst (50 %, 33 %, 17 % Erfolgsraten), während Fable sie fast immer abschließt (100 %, 83 %). Ein weiterer Hinweis: Fables Leistung sinkt nur geringfügig bei Ada (61 % vs. 64 % bei Go), während OpenAI-Modelle bei Ada deutlich verlieren – Sol fällt von 24 % auf 19 %, GPT-5.4 von 21 % auf 12 % und GPT-5.5 von 17 % auf 5 %. Da es in den Trainingsdaten fast keine Ada-Implementierungen dieser Programme gibt, deutet Fables Ada-Resilienz auf echte Fähigkeiten hin und nicht auf Auswendiglernen. Allerdings fand Epochs eigener Kontaminationscheck Anzeichen von Auswendiglernen bei 17 von 25 Programmen, und die exakte Spezifikation des Benchmarks unterscheidet sich von der realen Softwareentwicklung.