Modelos de Raciocínio Precisam de uma Nova Medição: Lançado o Ranking Público MERA Reason

O ranking MERA Reason foi lançado para avaliar modelos de raciocínio em russo. Ele inclui quatro conjuntos de tarefas: Luzitania (matemática de nível olímpico), TMath (uma ampla variedade de problemas), MMReD (raciocínio com contexto denso) e um componente futuro. O objetivo é medir objetivamente a capacidade de um modelo de construir cadeias de raciocínio, não apenas reproduzir conhecimento.

Т-Банк Alibaba/Qwen