AIモデル開発者：彼らはペリカンマックス化しているのか？

Simon Willisonは、主要なLLMリリースを「自転車に乗ったペリカンのSVGを生成して」というプロンプトでテストしており、これはよく知られた非公式のベンチマークとなっている。AIラボが「ペリカンマキシング」（人気ベンチマークに合わせてモデルを最適化すること）を行っているかどうかを調査するため、研究者が実験を行った。彼らは、GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2、DeepSeek V4 Proの7つのモデルで、48のプロンプト（8種類の動物×6種類の乗り物）を使用して1008個のSVGを生成した。各SVGはレンダリングされ、LLM審査員によって評価された。分析の結果、ペリコンが自転車に乗っている画像が期待値よりも高いスコアを得たという証拠は見つからず、このベンチマークに対するターゲットを絞った最適化は行われていないことが示唆された。