एलएलएम-आधारित मल्टी-एजेंट सिस्टम्स में स्वचालित दोष आरोपण: नया शोध

पेंसिल्वेनिया स्टेट यूनिवर्सिटी और ड्यूक यूनिवर्सिटी के शोधकर्ताओं ने, गूगल डीपमाइंड, यूनिवर्सिटी ऑफ वाशिंगटन, मेटा, नानयांग टेक्नोलॉजिकल यूनिवर्सिटी और ओरेगन स्टेट यूनिवर्सिटी के सहयोग से, पहली बार बड़े भाषा मॉडल (एलएलएम) पर आधारित मल्टी-एजेंट सिस्टम में स्वचालित दोष आरोपण के कार्य को औपचारिक रूप दिया है। उन्होंने पहला बेंचमार्क, Who&When बनाया है, जिसमें एलएलएम-एजेंट सिस्टम से एकत्र किए गए 127 दोष लॉग शामिल हैं, जो एल्गोरिदमिक रूप से उत्पन्न और विशेषज्ञों द्वारा मैन्युअल रूप से रचित दोनों हैं। प्रत्येक लॉग में एनोटेशन होते हैं: जिम्मेदार एजेंट (Who), त्रुटि चरण (When), और कारण का विवरण (Why)। इस कार्य के लिए तीन विधियाँ प्रस्तावित हैं: ऑल-एट-वन्स (पूरे लॉग का एक साथ विश्लेषण), स्टेप-बाय-स्टेप (चरणबद्ध समीक्षा), और बाइनरी सर्च (लॉग पर बाइनरी खोज)। GPT-4o के साथ प्रयोगों से पता चला कि सर्वोत्तम एकल विधि जिम्मेदार एजेंट की पहचान में 53.5% सटीकता प्राप्त करती है और त्रुटि चरण को सटीक रूप से इंगित करने में केवल 14.2%। कोई भी विधि कई मीट्रिक्स पर यादृच्छिक अनुमान से बेहतर प्रदर्शन नहीं करती है। o1 और DeepSeek R1 जैसे उन्नत मॉडल भी संघर्ष करते हैं। हाइब्रिड दृष्टिकोण परिणामों में सुधार करते हैं लेकिन कम्प्यूटेशनल लागत में काफी वृद्धि करते हैं। जैसे-जैसे संदर्भ की लंबाई बढ़ती है, सभी विधियों का प्रदर्शन घटता है, विशेष रूप से त्रुटि चरण निर्धारित करने में। यह कार्य ICML 2025 में स्पॉटलाइट के रूप में स्वीकार किया गया था; कोड और डेटा ओपन-सोर्स हैं।