स्वायत्त एआई एजेंट ने 4 महीने तक प्रोडक्शन लॉग्स की निगरानी की: 113 अलर्ट, 2 भ्रम, और 3.5 घंटे में सुधार

AI एजेंट Creatorry प्लेटफॉर्म के प्रोडक्शन लॉग्स की निगरानी करता है, जो AI का उपयोग करके संगीत, फोटो और वीडियो बनाता है। सिस्टम में 18 सेवाएँ हैं, जिनमें प्रतिदिन लगभग 300,000 लाइनें लॉग होती हैं, जिनमें से लगभग 12,500 त्रुटियाँ या चेतावनी होती हैं। एजेंट हर 30 मिनट में चलता है, Loki से हाल की त्रुटियों की जाँच करता है, और केवल तभी Telegram पर अलर्ट भेजता है जब उसे गंभीर समस्याएँ या त्रुटि दरों में महत्वपूर्ण वृद्धि दिखती है। 84 दिनों में, एजेंट ने 113 अलर्ट जारी किए, जिनमें 69 त्रुटियाँ, 41 गंभीर और तीन प्रारंभिक प्रविष्टियाँ थीं जिनमें गंभीरता लेबल नहीं था। सबसे प्रभावशाली अलर्ट ने 1 जून की शुरुआत में एक गंभीर त्रुटि का पता लगाया, जिसके कारण एक फिक्स को 3.5 घंटे के भीतर मर्ज कर दिया गया। एजेंट ने 503 त्रुटियों की एक लहर भी पकड़ी, जिससे पता चला कि एक फॉलबैक प्रदाता का उपयोग नहीं किया जा रहा था। हालाँकि, एजेंट ने दो बार भ्रम पैदा किया: एक बार बॉट टोकन का आविष्कार करके और दूसरी बार बढ़ी हुई त्रुटि संख्या की रिपोर्ट करके। इसका मुकाबला करने के लिए, टीम ने एक सत्यापन चरण लागू किया जहाँ एक अलग मॉडल विभिन्न तरीकों का उपयोग करके त्रुटियों को फिर से गिनता है, और उन्होंने असत्यापित अलर्ट को अस्वीकार करने के लिए 2.0 की सख्त अनुपात सीमा निर्धारित की। एजेंट ने शुरू में Claude Opus का उपयोग किया, लेकिन Opus की वाचालता और उच्च लागत के कारण MiniMax-M3 पर वापस स्विच कर दिया। एजेंट $10 सब्सक्रिप्शन पर प्रति माह लगभग 435 मिलियन टोकन का उपभोग करता है, जिसमें अधिकांश टोकन कैश्ड रीड से आते हैं। टीम प्रॉम्प्ट इंजेक्शन सुरक्षा पर जोर देती है, क्योंकि लॉग अविश्वसनीय इनपुट हैं, लेकिन एजेंट की केवल पढ़ने की पहुँच है और केवल अपने Telegram चैनल पर भेजता है। कुल मिलाकर, सिस्टम 135 दिनों से चल रहा है, जिसमें विभिन्न मुद्दों के कारण लगभग एक महीने का डाउनटाइम शामिल है।