Nouveau benchmark confirme : les modèles d'IA voient encore mal

Moonshot AI, l'équipe derrière Kimi, a publié PerceptionBench, un benchmark conçu pour tester la perception visuelle des modèles de langage multimodaux de manière isolée. Contrairement aux benchmarks courants, PerceptionBench décompose la vision en dix sous-compétences atomiques, chaque question pouvant être résolue par la simple observation, sans raisonnement ni connaissance externe. La taxonomie a été dérivée d'erreurs réelles de modèles, catégorisées en domaines tels que la Relation Visuelle, le Comptage, l'Attribut, la Profondeur et la 3D, la Localisation, la Comparaison, la Reconnaissance Fine, l'Intégration Contextuelle, l'OCR et l'Hallucination. Moonshot AI a publié 3 000 questions issues d'un ensemble interne de plus de 17 000 questions vérifiées. Sur 16 modèles de pointe, la précision globale la plus élevée est de 59,7 % pour GPT-5.6 Sol, suivi de Kimi K3 à 58,5 %, Claude Fable 5 à 57,2 % et Gemini 3.1 Pro à 56,2 %. Les modèles open-source sont nettement en retard. La catégorie hallucination est la plus faible en moyenne : GPT-5.6 Sol n'obtient que 26,9 % dans cette catégorie, tandis que le plus faible Gemini 3.5 Flash obtient 50,6 %. Les auteurs soutiennent que de nombreuses erreurs perçues comme des erreurs de raisonnement se produisent en réalité au niveau de la perception. Moonshot AI avait précédemment publié WorldVQA et contribué à BabyVision, qui montraient également que les modèles de pointe échouaient à des tâches visuelles de base, les humains les surpassant. Les chercheurs attribuent cela à un goulot d'étranglement de verbalisation.