MERA Reason: Kamuya Açık Yeni Liderlik Tablosu, Akıl Yürütme Modellerini Rusça Üzerinde Değerlendiriyor
Т-Банк
Alibaba/Qwen
MERA Reason adlı yeni bir kamuya açık liderlik tablosu (MERA TEXT platformunun bir parçası olarak) başlatıldı. Bu tablo, yapay zeka modellerinin akıl yürütme yeteneklerini özellikle Rusça matematiksel ve akıl yürütme görevlerinde değerlendirmeyi amaçlıyor. Dört farklı veri kümesini birleştiriyor: Luzitania (zor olimpiyat seviyesinde matematik), TMath (çeşitli matematik problemleri), MMReD (yoğun bağlamlı çok adımlı akıl yürütme) ve akıl yürütme modelleri için objektif, tekrarlanabilir bir kıyaslama sağlamayı hedefliyor.
MERA Reason liderlik tablosu, büyük dil modellerinde, özellikle Rusça için, muhakeme yeteneğinin objektif ölçümü ihtiyacını karşılamak üzere tanıtıldı. Dört veri setinden oluşur: Luzitania (üst düzey olimpiyatlardan seçilmiş, GPT-OSS-120B kullanılarak zorluk derecesine göre filtrelenmiş 251 zor matematik problemi), TMath (cebir, geometri, kombinatorik vb. konularını kapsayan Rus olimpiyatlarından 310 problem) ve MMReD (her tokenin ilgili olduğu yoğun bağlamlı muhakeme için sentetik bir kıyaslama). Liderlik tablosu, muhakeme modellerinin tekrarlanabilir bir ortamda karşılaştırılmasına olanak tanır ve bu yaz beklenen MERA platformunun daha büyük bir güncellemesinin parçası olacaktır.
Kaynak: Habr — хаб ИИ —
orijinal