बाह्य कारण पुनर्स्मरण बेंचमार्क: Yandex के YDB पर AI सहायक मेमोरी का परीक्षण
Яндекс
एक कारण पुनर्स्मरण बेंचमार्क ओपन-सोर्स YDB रिपॉजिटरी (ydb-platform/ydb) पर चलाया गया, ताकि यह मापा जा सके कि एक AI सहायक समान लक्षणों के लिए पिछले सुधारों को कितनी अच्छी तरह प्राप्त करता है। केवल सिमैंटिक सर्च ने 32.1% मामलों में सही पुल रिक्वेस्ट पाई, जबकि स्पष्ट कारण किनारों (इश्यू -> क्लोज़िंग PR) पर ट्रैवर्स करने से 94.5% सफलता मिली, जो ग्राफ से +62.5 प्रतिशत अंकों का योगदान दर्शाता है। यह पैटर्न भाषा, डोमेन या टिकट संस्कृति से स्वतंत्र रूप से दोहराया जाता है।
लेखकों ने सार्वजनिक ydb-platform/ydb रिपॉजिटरी (10,285 मुद्दे, 37,067 पुल रिक्वेस्ट, C++, अंग्रेजी) पर एक कारणात्मक रिकॉल बेंचमार्क बनाया। उन्होंने GitHub के Closes/Fixes/Resolves #N पैटर्न का उपयोग करके गोल्ड पेयर निकाले (बॉट पुल रिक्वेस्ट को हटाने के बाद 293 मान्य जोड़े, जैसे ydbot और github-actions से)। प्रत्येक क्वेरी (मुद्दा शीर्षक) के लिए, दो पुनर्प्राप्ति विधियों की तुलना की गई: (ए) मल्टीलिंगुअल MiniLM एम्बेडिंग का उपयोग करके सिमेंटिक कोसाइन समानता टॉप-32, और (बी) समान सीड्स से गहराई 3 तक कारणात्मक किनारों का अनुसरण। सिमेंटिक रिकॉल 32.1% (94/293) था, कारणात्मक रिकॉल 94.5% (277/293) था, जिससे ग्राफ़ योगदान +62.5 प्रतिशत अंक मिला। लेखक इस बात पर जोर देते हैं कि मुख्य परिणाम सटीक संख्याएँ नहीं हैं, बल्कि प्रतिलिपि प्रस्तुत करने योग्य पैटर्न है: केवल शब्दार्थ शब्द समानता लगभग एक तिहाई पर अधिकतम होती है, जबकि स्पष्ट कारणात्मक लिंक रिकॉल को नाटकीय रूप से बढ़ाते हैं। वे स्वतंत्र प्रतिकृति की अनुमति देने के लिए पूर्ण गोल्ड पेयर और 6-चरणीय विधि प्रदान करते हैं। कार्य में आकस्मिक निष्कर्ष भी नोट किए गए हैं: AI एजेंटों (मुख्य रूप से GitHub Copilot) द्वारा बनाए गए 143 पुल रिक्वेस्ट और 173 रिवर्ट पुल रिक्वेस्ट, जो दर्शाते हैं कि स्मृति समस्याएँ वास्तविक हैं।
स्रोत: Habr — хаб ИИ —
मूल