Neuer Benchmark bestätigt: KI-Modelle sehen immer noch schlecht

Das Team hinter Kimi, Moonshot AI, hat PerceptionBench veröffentlicht, einen Benchmark, der entwickelt wurde, um die visuelle Wahrnehmung in multimodalen Sprachmodellen isoliert zu testen. Anders als bei gängigen Benchmarks zerlegt PerceptionBench das Sehen in zehn atomare Teilfertigkeiten, wobei jede Frage allein durch Hinsehen beantwortet werden kann, ohne Denken oder externes Wissen. Die Taxonomie wurde aus realen Modellfehlern abgeleitet und in Bereiche wie visuelle Beziehung, Zählen, Attribut, Tiefe und 3D, Lokalisierung, Vergleich, Feinauflösende Erkennung, Kontextintegration, OCR und Halluzination kategorisiert. Moonshot AI veröffentlichte 3.000 Fragen aus einem internen Pool von über 17.000 verifizierten. Über 16 führende Modelle hinweg liegt die höchste Gesamtgenauigkeit bei 59,7 % für GPT-5.6 Sol, gefolgt von Kimi K3 mit 58,5 %, Claude Fable 5 mit 57,2 % und Gemini 3.1 Pro mit 56,2 %. Open-Source-Modelle hinken deutlich hinterher. Die Kategorie Halluzination ist im Durchschnitt am schwächsten: GPT-5.6 Sol erreicht dort nur 26,9 %, während das schwächere Gemini 3.5 Flash 50,6 % erzielt. Die Autoren argumentieren, dass viele wahrgenommene Denkfehler tatsächlich auf der Wahrnehmungsebene auftreten. Moonshot AI hatte zuvor WorldVQA veröffentlicht und zu BabyVision beigetragen, die ebenfalls zeigten, dass führende Modelle bei grundlegenden visuellen Aufgaben scheitern, während Menschen sie übertreffen. Die Forscher führen dies auf einen Verbalisierungsengpass zurück.