हर एवल एवर के परिणाम अब हगिंग फेस मॉडल पेजों पर
Hugging Face
Meta
एवलएवल गठबंधन द्वारा शुरू की गई ईईई (एवरी एवल एवर) परियोजना एकीकृत JSON स्कीमा का उपयोग करके AI मूल्यांकन रिपोर्टिंग को मानकीकृत करती है। अब हगिंग फेस कम्युनिटी एवल्स के साथ एकीकृत है, यह मॉडल पेजों और पूर्ण मूल्यांकन रिकॉर्डों के बीच क्रॉस-लिंकिंग सक्षम करती है, जिसमें 31 प्रारूपों से 229,000 से अधिक परिणाम पहले से ही एकत्र किए गए हैं।
फरवरी 2026 में EvalEval गठबंधन द्वारा शुरू किया गया EEE (एवरी एवल एवर) प्रोजेक्ट, प्रथम-पक्ष और तृतीय-पक्ष मूल्यांकनकर्ताओं के बीच AI मूल्यांकन रिपोर्टिंग को मानकीकृत करने का लक्ष्य रखता है। यह एक एकीकृत JSON स्कीमा का उपयोग करता है जो यह रिकॉर्ड करता है कि मूल्यांकन किसने चलाया, कौन सा मॉडल, इसे कैसे एक्सेस किया गया, जनरेशन सेटिंग्स, मीट्रिक परिभाषाएँ और वैकल्पिक प्रति-नमूना आउटपुट। हगिंग फेस ने उसी समय हब पर बेंचमार्क स्कोर रिपोर्टिंग को विकेंद्रीकृत करने के लिए कम्युनिटी एवल्स लॉन्च किया। अब दोनों को एकीकृत कर दिया गया है: योगदानकर्ता एक कनवर्टर के माध्यम से EEE परिणामों को हगिंग फेस कम्युनिटी एवल्स में भेज सकते हैं जो JSON रिकॉर्ड को YAML प्रारूप में बदलता है जिसकी हगिंग फेस को अपेक्षा होती है। परिणामी स्कोर मॉडल पेजों पर एक बैज के साथ दिखाई देते हैं जो पूर्ण EEE रिकॉर्ड से जुड़ता है, जिसमें जनरेशन कॉन्फ़िगरेशन, हार्नेस संस्करण और पुनरुत्पादन नोट्स शामिल होते हैं। हगिंग फेस पर EEE डेटास्टोर अब लगभग 229,000 मूल्यांकन परिणामों तक बढ़ गया है, जो 22,000 से अधिक मॉडलों और 2,200 बेंचमार्कों पर फैला हुआ है, और 31 विभिन्न रिपोर्टिंग प्रारूपों से लिया गया है। इन रनों को शुरू से दोहराने में सैकड़ों हजारों डॉलर खर्च होंगे, जो केंद्रीकृत रिपोर्टिंग के मूल्य को उजागर करता है। कनवर्टर वर्तमान में चार आधिकारिक बेंचमार्कों का समर्थन करता है: MMLU-Pro, GPQA, HLE और GSM8K। उपयोगकर्ता अपने EEE रिकॉर्ड को डेटास्टोर में सबमिट कर सकते हैं, फिर YAML पूर्वावलोकन उत्पन्न करने और समीक्षा के बाद पुल रिक्वेस्ट खोलने के लिए कनवर्टर चला सकते हैं।
स्रोत: Hugging Face blog —
मूल
