MERA Reason: ロシア語推論モデル評価の新たな公開リーダーボード

ロシア語における大規模言語モデルの推論能力を客観的に測定する必要性に応えるため、MERA Reasonリーダーボードが導入されました。このリーダーボードは4つのデータセットで構成されています。すなわち、Luzitania（高水準のオリンピアードから選ばれた251問の難解な数学問題で、GPT-OSS-120Bを用いて難易度でフィルタリング）、TMath（ロシアのオリンピアードからの310問で、代数、幾何、組み合わせ論などをカバー）、そしてMMReD（すべてのトークンが関連する密集コンテキスト推論のための合成ベンチマーク）です。このリーダーボードにより、再現可能な環境で推論モデルの比較が可能になり、今夏に予定されているMERAプラットフォームの大規模アップデートの一部となります。