ベンチマーク作成のための6つの教訓：NeurIPSチュートリアルより

NeurIPSのチュートリアル「ベンチマークの技術」において、SWE-benchやGPQAの著者、Google DeepMind、NYU、バークレーの研究者らが、ベンチマーク作成における主要な問題点と落とし穴について議論しました。これには、メトリックの専制（metrics tyranny）、すなわちメトリックにハニースポットが存在し、モデルがテストを「ハッキング」できること、ピアソン相関係数（Pearson correlation coefficient）がこれらのポイントを検出できないことが含まれます。また、LLMを評価ソースとして使用することは危険であり、キャリブレーションセットでのみ人間と相関し、自己バイアス（self-bias）によって自身の結果が過大評価されることも指摘されました。唯一正しいアプローチは、モデルが失敗する例を生成することです。ベンチマーク作成者が犯す6つの大きな誤りとしては、トップモデルで70〜80%の精度でベンチマークを公開すること（0〜1%を目指すべき）、タスクの真のマルチモーダル性の検証不足、自身の知能理論への依存、クラウドスパムのフィルタリングの欠如（ランダム回答が最大25%）、単一のクラウドワーカーへの作業集中、p値（p-value）と信頼区間（confidence interval）なしでの結果公開が挙げられました。将来的には、動的ベンチマーク、LLMが人間に与える影響の縦断研究、モデル知識のキャリブレーション、そして猫には解けるがGPTには解けないタスクが必要です。