MERA Reason: 러시아어 추론 모델 평가를 위한 새로운 공개 리더보드
Т-Банк
Alibaba/Qwen
MERA TEXT 플랫폼의 일부인 MERA Reason이라는 새로운 공개 리더보드가 러시아어 수학 및 추론 과제에 대한 AI 모델의 추론 능력을 평가하기 위해 출시되었습니다. 이 리더보드는 Luzitania(어려운 올림피아드 수준 수학), TMath(다양한 수학 문제), MMReD(밀집 맥락 다단계 추론) 등 네 가지 데이터셋을 결합하여 추론 모델을 위한 객관적이고 재현 가능한 벤치마크를 제공하는 것을 목표로 합니다.
MERA Reason 리더보드는 대규모 언어 모델, 특히 러시아어 대상 모델의 추론 능력을 객관적으로 측정할 필요성을 해결하기 위해 도입되었습니다. 이 리더보드는 네 가지 데이터셋으로 구성됩니다: 루지타니아(Luzitania, 고급 올림피아드에서 발췌한 251개의 어려운 수학 문제로, GPT-OSS-120B를 사용해 난이도별로 필터링됨); TMath(러시아 올림피아드에서 가져온 대수학, 기하학, 조합론 등을 다루는 310개의 문제); 그리고 MMReD(모든 토큰이 관련된 밀집 맥락 추론을 위한 합성 벤치마크)입니다. 이 리더보드는 재현 가능한 환경에서 추론 모델을 비교할 수 있게 해주며, 올여름 예정된 MERA 플랫폼의 대규모 업데이트의 일부가 될 것입니다.
출처: Habr — хаб ИИ —
원문