معيار التذكر السببي الخارجي: اختبار ذاكرة المساعد الذكي على YDB من ياندكس

قام المؤلفون ببناء معيار استرجاع سببي على مستودع ydb-platform/ydb العام (10,285 مشكلة، 37,067 طلب سحب، بلغة C++، باللغة الإنجليزية). استخرجوا الأزواج الحقيقية باستخدام نمط GitHub Closes/Fixes/Resolves #N (293 زوجًا صالحًا بعد تصفية طلبات السحب الآلية من ydbot وgithub-actions). لكل استعلام (عنوان مشكلة)، تمت مقارنة طريقتين للاسترجاع: (أ) تشابه جيب التمام الدلالي لأفضل 32 نتيجة باستخدام تضمينات MiniLM متعددة اللغات، و (ب) اجتياز الحواف السببية من نفس البذور حتى عمق 3. كان الاسترجاع الدلالي 32.1% (94/293)، والاسترجاع السببي 94.5% (277/293)، مما يعطي مساهمة الرسم البياني +62.5 نقطة مئوية. يؤكد المؤلفون أن النتيجة الرئيسية ليست الأرقام الدقيقة بل النمط القابل للتكرار: تشابه الكلمات الدلالي وحده يصل إلى حوالي الثلث، بينما الروابط السببية الصريحة تعزز الاسترجاع بشكل كبير. يقدمون الأزواج الحقيقية الكاملة وطريقة من 6 خطوات للسماح بالتكرار المستقل. يلاحظ العمل أيضًا نتائج عرضية: 143 طلب سحب تم إنشاؤها بواسطة وكلاء الذكاء الاصطناعي (بشكل أساسي GitHub Copilot) و173 طلب سحب عكسي، مما يوضح أن مشاكل الذاكرة حقيقية.