MERA Reason: रूसी भाषा में तर्क मॉडल के मूल्यांकन के लिए नया सार्वजनिक लीडरबोर्ड

MERA Reason लीडरबोर्ड को बड़े भाषा मॉडलों में तर्कशक्ति के वस्तुनिष्ठ मापन की आवश्यकता को पूरा करने के लिए पेश किया गया है, विशेष रूप से रूसी भाषा के लिए। इसमें चार डेटासेट शामिल हैं: Luzitania (उच्च स्तरीय ओलंपियाडों की 251 कठिन गणित समस्याएं, GPT-OSS-120B का उपयोग करके कठिनाई के आधार पर फ़िल्टर की गईं), TMath (रूसी ओलंपियाडों की 310 समस्याएं जो बीजगणित, ज्यामिति, कॉम्बिनेटरिक्स आदि को कवर करती हैं), और MMReD (सघन-संदर्भ तर्कशक्ति के लिए एक सिंथेटिक बेंचमार्क जहां हर टोकन प्रासंगिक है)। यह लीडरबोर्ड तर्क मॉडलों की तुलना प्रतिलिपि-सक्षम वातावरण में करने की अनुमति देता है और इस गर्मी में अपेक्षित MERA प्लेटफ़ॉर्म के एक बड़े अपडेट का हिस्सा होगा।