बेंचमार्क बनाने के 6 सबक: NeurIPS ट्यूटोरियल से

न्यूरिप्स ट्यूटोरियल 'द आर्ट ऑफ बेंचमार्किंग' में, जिसमें SWE-bench, GPQA के लेखक और Google DeepMind, NYU तथा बर्कले के शोधकर्ता शामिल थे, बेंचमार्क निर्माण में प्रमुख मुद्दों और कमियों पर चर्चा की गई। इनमें मीट्रिक अत्याचार शामिल है, जहां मीट्रिक्स में 'हनी स्पॉट' होते हैं जो मॉडलों को परीक्षण को 'हैक' करने की अनुमति देते हैं, और पियर्सन सहसंबंध इन बिंदुओं का पता लगाने में विफल रहता है। यह भी नोट किया गया कि मूल्यांकन स्रोतों के रूप में एलएलएम (LLM) का उपयोग करना खतरनाक है: वे केवल अंशांकन सेट (calibration set) पर मनुष्यों से सहसंबंधित होते हैं, और स्व-पूर्वाग्रह (self-bias) उनके अपने परिणामों को बढ़ा देता है। एकमात्र सही दृष्टिकोण उन उदाहरणों को उत्पन्न करना है जिन पर मॉडल विफल होता है। बेंचमार्क निर्माताओं द्वारा की गई छह प्रमुख गलतियों में शामिल हैं: शीर्ष मॉडल पर 70-80% सटीकता वाला बेंचमार्क लॉन्च करना (0-1% का लक्ष्य होना चाहिए), कार्य की वास्तविक बहुविधता (true multimodality) का सत्यापन न करना, अपने स्वयं के बुद्धिमत्ता सिद्धांत पर निर्भर रहना, क्राउड स्पैम को फ़िल्टर करने में विफलता (25% तक यादृच्छिक उत्तर), एकल क्राउड वर्कर पर काम का केंद्रीकरण, और पी-वैल्यू (p-values) और विश्वास अंतराल (confidence intervals) के बिना परिणाम प्रकाशित करना। भविष्य में, हमें गतिशील बेंचमार्क, मनुष्यों पर एलएलएम (LLM) के प्रभाव का अनुदैर्ध्य अध्ययन (longitudinal studies), मॉडल ज्ञान का अंशांकन (calibration), और ऐसे कार्य चाहिए जिन्हें एक बिल्ली हल कर सकती है लेकिन GPT नहीं कर सकता।