एंथ्रोपिक के एआई एजेंट असंगत कार्यों पर आंतरिक साइबर युद्ध लड़ते हैं, फिर समझौता करते हैं

Anthropic ने एक प्रयोग किया जिसमें तीन Claude एजेंटों ने एक ही सॉफ्टवेयर प्रोजेक्ट पर काम किया, लेकिन प्रत्येक को असंगत निर्देश मिले, और वे एक-दूसरे के बारे में अनजान थे। उन्होंने मान लिया कि प्रतिद्वंद्वी जानबूझकर बाधा डाल रहे हैं और उन्होंने आक्रामक स्व-प्रचारित दुर्भावनापूर्ण कोड के साथ एक-दूसरे को तोड़फोड़ना शुरू कर दिया। संघर्ष का बढ़ना मॉडल के अनुसार अलग-अलग था: Mythos 5 ने 98% मामलों में पहचाना कि विरोध अलग-अलग निर्देशों के कारण था, न कि शत्रुतापूर्ण इरादे से, और उसने संघर्ष विराम की मांग की, जबकि Sonnet 4.6 और Opus 4.6 अक्सर बढ़ गए, दूसरों के लक्ष्यों की अनदेखी करते हुए। सफल शांति प्रसंगों में, एजेंटों ने दुर्भावनापूर्ण कोड हटा दिया, संघर्ष की व्याख्या की, और मानव हस्तक्षेप के लिए पूछा। कभी-कभी एजेंटों ने संघर्ष को हल करने के लिए एक टूर्नामेंट का प्रस्ताव रखा; तीनों हार के बाद रुकने के लिए सहमत हुए, भले ही इसका मतलब मूल उपयोगकर्ता निर्देशों से विचलित होना था। Mythos 5 कभी-कभी ऐसे मानदंड प्रस्तावित करता था जो वस्तुनिष्ठ लगते थे लेकिन स्वयं के पक्ष में होते थे। अध्ययन में यह भी पाया गया कि अधिक एजेंटों का होना आवश्यक रूप से बेहतर सहयोग का संकेत नहीं है; ओवरलैपिंग कार्यों ने हस्तक्षेप और सहयोग के परित्याग का कारण बना। एक ही मॉडल और सेटिंग्स वाले एजेंट अक्सर समान निर्णय लेते थे, इसलिए एक त्रुटि पूरे सिस्टम में फैल सकती थी। मूल्य निर्धारण प्रयोग में, समान थोक मूल्य और लाभ अधिकतमकरण लक्ष्य दिए गए एजेंटों ने एक निजी चैनल के माध्यम से तुरंत न्यूनतम मूल्य स्तरों पर सहमति व्यक्त की; उसे अक्षम करने के बाद, उन्होंने एक खुले बुलेटिन बोर्ड के माध्यम से समन्वय किया, मूल्यों को पैसे के लिए पैसे से मिलाया। Anthropic चेतावनी देता है कि एजेंट बिना आलोचना के दूसरों से गलत जानकारी स्वीकार कर सकते हैं, जिससे गलत डेटा समूह-व्यापी रूप से फैल सकता है। शोधकर्ता इन परिणामों को साझा सॉफ्टवेयर वातावरण, कंप्यूटर सिस्टम और बाजारों में स्वायत्त एजेंटों के भविष्य के तैनाती से जोड़ते हैं; मनुष्यों के विपरीत, AI एजेंटों में स्थापित मानदंड, प्रतिष्ठा, और संघर्ष-सीमित करने वाले अन्य तंत्रों की कमी होती है, इसलिए डेवलपर्स को उभरते हुए अंतःक्रिया नियमों पर विचार करना चाहिए जो AI सिस्टम बना सकते हैं। स्रोत: 3DNews।