MERA Reason: لوحة متصدرة جديدة لتقييم نماذج الاستدلال باللغة الروسية
Т-Банк
Alibaba/Qwen
تم إطلاق لوحة متصدرة عامة جديدة تسمى MERA Reason (جزء من منصة MERA TEXT) لتقييم قدرات الاستدلال لنماذج الذكاء الاصطناعي على المهام الرياضية والمنطقية المكتوبة باللغة الروسية تحديدًا. تجمع اللوحة بين أربع مجموعات بيانات متميزة هي: Luzitania (مسائل رياضيات صعبة بمستوى الأولمبياد)، TMath (مسائل رياضيات متنوعة)، MMReD (استدلال متعدد الخطوات بسياقات كثيفة)، بهدف تقديم معيار موضوعي وقابل للتكرار لنماذج الاستدلال.
تم تقديم لوحة متصدرين MERA Reason لمعالجة الحاجة إلى قياس موضوعي للاستدلال في نماذج اللغة الكبيرة، خاصة للغة الروسية. تتكون من أربع مجموعات بيانات: Luzitania (251 مسألة رياضية صعبة من أولمبيادات عالية المستوى، تمت تصفيتها حسب الصعوبة باستخدام GPT-OSS-120B)، TMath (310 مسائل من الأولمبيادات الروسية تغطي الجبر والهندسة والتوافقيات وغيرها)، وMMReD (معيار اصطناعي للاستدلال في السياق الكثيف حيث تكون كل رموز مميزة ذات صلة). تسمح اللوحة بمقارنة نماذج الاستدلال في بيئة قابلة للتكرار وستكون جزءًا من تحديث أكبر لمنصة MERA المتوقع في صيف هذا العام.
المصدر: Habr — хаб ИИ —
الأصلي