एआई ने शीर्ष 99.2% पेपरों में खामियां उजागर कीं!
OpenAI
एआई एजेंटों का उपयोग करके हालिया ऑडिट से पता चला है कि कई शीर्ष एआई सम्मेलन पेपर प्रतिलिपि योग्य (reproducible) नहीं हैं और उनमें वस्तुनिष्ठ त्रुटियाँ हैं। एक अध्ययन में पाया गया कि 99.2% पेपरों में कम से कम एक त्रुटि थी, जिसमें प्रति पेपर औसतन 4.7 त्रुटियाँ थीं। यह प्रवृत्ति अकादमिक ऑडिटिंग में नए शोध अवसरों का संकेत देती है।
शोधकर्ताओं ने शीर्ष AI सम्मेलनों के पेपरों का ऑडिट करने के लिए AI एजेंटों का उपयोग किया है, जिसमें पाया गया कि कई प्रकाशित परिणाम दोहराए नहीं जा सकते। उदाहरण के लिए, ICML 2026 में सभी 168 मौखिक प्रस्तुतियों के AI एजेंट ऑडिट से पता चला कि कम से कम पांच सत्यापन योग्य दावों वाले 92 पेपरों में से केवल 34 ही 40% से अधिक निष्कर्षों को दोहरा सके, और केवल 8 ही 80% से अधिक दोहरा सके। इसके अतिरिक्त, चार पेपर एक ऐसे मॉडल पर निर्भर थे जिसे ऑफ़लाइन कर दिया गया है, जिससे उनके परिणाम स्थायी रूप से अप्राप्य हो गए हैं। एक अन्य अध्ययन ने GPT-5-आधारित पेपर चेकर विकसित किया, जिसने शीर्ष AI सम्मेलनों के पेपरों का विश्लेषण किया, और पाया कि औसतन प्रत्येक पेपर में 4.7 वस्तुनिष्ठ त्रुटियाँ थीं, और 99.2% पेपरों में कम से कम एक समस्या थी। गणितीय और सूत्र त्रुटियाँ सबसे आम थीं (54.0%)। न्यूरिप्स पेपर में प्रति पेपर त्रुटियों की संख्या 2021 में 3.8 से बढ़कर 2025 में 5.9 हो गई। ये निष्कर्ष वैज्ञानिक प्रतिलिपिकरणीयता में बढ़ती समस्या को उजागर करते हैं और नए शोध दिशाओं के अवसर सुझाते हैं, जैसे पुराने पेपरों की समीक्षा करना और त्रुटियों को सुधारना। इसके अलावा, झेजियांग लैब के एक सैद्धांतिक रसायनज्ञ ने पाया कि AI ने 75 वर्ष पुराने डेटाबेस की तुलना में अलग क्वथनांक की भविष्यवाणी की, और मैन्युअल सत्यापन के बाद, AI सही था, जिससे सदियों पुराने मापों में त्रुटियों का पता चला। यह दर्शाता है कि AI अब ऐतिहासिक वैज्ञानिक साहित्य का पुनर्मूल्यांकन करने में सहायता कर सकता है।
स्रोत: QbitAI 量子位 —
मूल