एआई एजेंट: कार्य को समानांतर करें, गलतियों को नहीं

शोधकर्ताओं ने हॉरिज़न नामक एक बेंचमार्क विकसित किया है और विभिन्न वातावरणों—जैसे वेब, ऑपरेटिंग सिस्टम, डेटाबेस और एम्बोडेड सेटिंग्स—में 3,100 से अधिक एजेंट ट्रैजेक्ट्री का विश्लेषण किया। प्रयोगों में OpenAI और Anthropic के मॉडल का उपयोग करने वाले एजेंट शामिल थे। निष्कर्ष बताते हैं कि कार्य लंबे होने पर प्रदर्शन धीरे-धीरे घटता नहीं है, बल्कि स्थिर रह सकता है और फिर एक निश्चित सीमा से परे अचानक ढह जाता है। विफलताओं की सात प्रमुख श्रेणियों की पहचान की गई, जिन्हें दो परिवारों में विभाजित किया गया: 72.5% विफलताएं प्रक्रिया-संबंधी जोखिमों से और 27.5% एजेंट डिज़ाइन जोखिमों से जुड़ी थीं। एंथ्रोपिक ने 'संदर्भ प्रदूषण' नामक एक घटना पर प्रकाश डाला, जहां संचित मध्यवर्ती जानकारी एजेंट के संदर्भ को अव्यवस्थित कर देती है और निर्णय लेने की क्षमता को प्रभावित करती है। अध्ययन सुझाव देता है कि किसी कार्य को स्वतंत्र उप-कार्यों में विभाजित करना जिन्हें अलग-अलग एजेंट संभालते हैं, प्रभावी होता है, जबकि डिज़ाइन, कार्यान्वयन और परीक्षण जैसे चरणों को विभाजित करना, जो अत्यधिक संदर्भ साझा करते हैं, टेलीफोन खेल के समान सूचना हानि की ओर ले जाता है। अधिकारियों के लिए, चार प्रश्न महत्वपूर्ण हैं: निर्णय किसने लिया, किस जानकारी के आधार पर, किस लागत पर, और क्या किसी असफल चरण को स्वतंत्र रूप से दोहराया जा सकता है। पुनः प्रयोज्यता के बिना, घटनाएं सब कुछ पुनः आरंभ कर देती हैं, और अनुचित विभाजन एकल एजेंट की तुलना में 3 से 10 गुना अधिक लागत दे सकता है।