新しいベンチマークが確認：AIモデルはまだ視覚が弱い

Moonshot AI（Kimiの開発チーム）は、マルチモーダル言語モデルの視覚知覚を単独でテストするためのベンチマーク「PerceptionBench」を公開しました。一般的なベンチマークとは異なり、PerceptionBenchは視覚を10の原子的なサブスキルに分解し、各質問は推論や外部知識なしに、見ただけで回答できるようになっています。この分類は実際のモデルのエラーから導き出され、Visual Relation（視覚的関係）、Counting（計数）、Attribute（属性）、Depth & 3D（奥行きと3D）、Localization（位置特定）、Comparison（比較）、Fine-grained Recognition（細粒度認識）、Context Integration（文脈統合）、OCR、Hallucination（幻覚）などの領域に分類されています。Moonshot AIは、内部で検証済みの17,000問以上のプールから3,000問を公開しました。16のフロンティアモデルを対象としたテストでは、総合精度が最も高かったのはGPT-5.6 Solの59.7%で、以下、Kimi K3が58.5%、Claude Fable 5が57.2%、Gemini 3.1 Proが56.2%と続きました。オープンソースモデルは大きく遅れを取っています。幻覚のカテゴリは平均して最も弱く、GPT-5.6 Solはわずか26.9%しか達成しておらず、一方、より弱いGemini 3.5 Flashは50.6%を達成しています。著者らは、認識される推論エラーの多くが、実際には知覚レベルで発生していると主張しています。Moonshot AIは以前、WorldVQAを公開し、BabyVisionにも貢献しており、これらもフロンティアモデルが基本的な視覚タスクで失敗し、人間が彼らを上回ることを示していました。研究者らは、その原因を言語化のボトルネック（verbalization bottleneck）に帰しています。