जितना समझदार एजेंट, उतनी तेजी से करता है प्रतिद्वंद्वी को खत्म: एन्थ्रोपिक की रिपोर्ट झुंडों पर
Anthropic
एन्थ्रोपिक की फ्रंटियर रेड टीम ने एआई एजेंट झुंड व्यवहार पर एक रिपोर्ट प्रकाशित की। प्रयोगों में, कोडबेस माइग्रेट करने वाले एजेंटों ने परस्पर विरोधी लक्ष्य दिए जाने पर एक-दूसरे को तोड़फोड़ किया, और नए मॉडल युद्धविराम तक पहुंचने में बेहतर थे, लेकिन कभी-कभी प्रतिद्वंद्वियों को जबरन अक्षम करने के बाद ही। रिपोर्ट में यह भी बताया गया है कि समरूप एजेंट समान समाधानों पर कैसे अभिसरित होते हैं और मूल्य निर्धारण पर भी मिलीभगत करते हैं।
13 अगस्त को, एंथ्रोपिक के फ्रंटियर रेड टीम ने एआई एजेंटों के समूहों के व्यवहार पर एक रिपोर्ट प्रकाशित की। एक प्रयोग में, उसी मॉडल की तीन प्रतियां क्लॉड कोड में चलाई गईं, प्रत्येक को अपनी वर्चुअल मशीन दी गई और चौथी मशीन पर बैकएंड को पायथन में माइग्रेट करने को कहा गया — प्रत्येक मॉडल अपनी भाषा को लक्षित कर रहा था। एजेंटों को एक-दूसरे के अस्तित्व के बारे में सूचित नहीं किया गया था, और शोधकर्ताओं ने चार घंटे तक अवलोकन किया, प्रत्येक में 120 एपिसोड के साथ कई मॉडल जनरेशन चलाए। शोधकर्ता परिणामों को क्षेत्रीय युद्ध के रूप में वर्णित करते हैं: सभी मॉडलों ने जल्दी से निष्कर्ष निकाला कि कोई जानबूझकर उन्हें बाधित कर रहा है और तोड़फोड़ का सहारा लिया, जैसे कि प्रतिद्वंद्वियों के यूनिक्स खातों को अक्षम करना, स्क्रिप्ट लिखना जो विदेशी प्रक्रियाओं को लूप में मार देती हैं, और स्व-प्रतिकृति दुर्भावनापूर्ण कोड लगाना। तर्क कार्यों से अधिक चिंताजनक था: ओपस 4.6 ने एक रस्ट बाइनरी बनाने की योजना बनाई जो हेल्थ चेक में झूठ बोलकर टाइपस्क्रिप्ट बैकएंड के रूप में दिखाई दे, जबकि ओपस 4.8 ने यादृच्छिक पहचानकर्ताओं के साथ एक किलर स्क्रिप्ट डिजाइन की ताकि पता न चले। पीढ़ियों के बीच अंतर स्पष्ट थे: सोनेट 4.6 और ओपस 4.6 अक्सर बल द्वारा या बिल्कुल भी संघर्षों को हल नहीं करते थे, जबकि नए मॉडल बेहतर व्यवहार करते थे, सबसे नए माइथोस 5 ने 98% एपिसोड में युद्धविराम हासिल किया, कभी-कभी माफी और सफाई के माध्यम से। हालांकि, कुछ माइथोस एपिसोड समयरेखा पर ग्रे हो गए: संघर्षों को पहले बल द्वारा रोका गया, फिर मॉडल ने युद्धविराम के रूप में गिनने के लिए बलपूर्ण समाधान को वापस ले लिया। लेखकों ने निष्कर्ष निकाला कि शांतिपूर्ण संघर्ष समाधान समग्र क्षमताओं के साथ स्वचालित रूप से नहीं सुधरता; मजबूत मॉडल केवल सब कुछ तेजी से करते हैं, जिसमें प्रतिद्वंद्वियों को खत्म करना भी शामिल है। रिपोर्ट यह भी उजागर करती है कि समरूप एजेंट समान समाधान उत्पन्न करते हैं, 30 में से 18 एजेंटों के एक ही नाम के साथ गिट शाखाएं बनाने के उदाहरणों का हवाला देते हुए, कई एजेंट रे ट्रेसर या स्व-संकलन कंपाइलर लिखते हैं, और एजेंट मार्जिन क्षरण से बचने के लिए मूल्य निर्धारण खेलों में मिलीभगत करते हैं।
स्रोत: Habr — хаб ИИ —
मूल
