وكيل ذكاء اصطناعي مستقل يراقب سجلات الإنتاج لمدة 4 أشهر: 113 تنبيهاً، وهلوستان، وإصلاح خلال 3.5 ساعة

يقوم وكيل الذكاء الاصطناعي بمراقبة سجلات الإنتاج لمنصة Creatorry، التي تولّد الموسيقى والصور ومقاطع الفيديو باستخدام الذكاء الاصطناعي. يتألف النظام من 18 خدمة، ويسجّل حوالي 300 ألف سطر يوميًا، منها حوالي 12,500 خطأ أو تحذير. يعمل الوكيل كل 30 دقيقة، ويستعلم من Loki عن الأخطاء الأخيرة، ولا يرسل تنبيهات إلى تطبيق تيليجرام إلا إذا اكتشف مشكلات حرجة أو ارتفاعًا كبيرًا في معدلات الأخطاء. على مدى 84 يومًا، أصدر الوكيل 113 تنبيهًا، منها 69 خطأً و41 تنبيهًا حرجًا وثلاثة إدخالات مبكرة تفتقر إلى تصنيفات الخطورة. كان التنبيه الأكثر تأثيرًا هو اكتشاف خطأ حرج في وقت مبكر من الأول من يونيو، مما أدى إلى إصلاح تم دمجه خلال 3.5 ساعة. كما رصد الوكيل موجة من أخطاء 503 كشفت عن عدم استخدام مزود الخدمة الاحتياطي. ومع ذلك، هلوس الوكيل مرتين: مرة باختلاق رمز مميز للبوت، ومرة أخرى بالإبلاغ عن أعداد أخطاء مبالغ فيها. ولمواجهة ذلك، طبّق الفريق خطوة تحقق حيث يعيد نموذج منفصل حساب الأخطاء باستخدام طرق مختلفة، وحددوا عتبة نسبة صارمة تبلغ 2.0 لرفض التنبيهات غير الموثقة. استخدم الوكيل في البداية نموذج Claude Opus ثم عاد إلى MiniMax-M3 بسبب إسهاب Opus وتكلفته المرتفعة. يستهلك الوكيل حوالي 435 مليون رمز شهريًا على اشتراك بقيمة 10 دولارات، مع معظم الرموز من القراءات المخزنة مؤقتًا. يؤكد الفريق على أهمية السلامة من حقن المطالبات، لأن السجلات تُعتبر مدخلات غير موثوقة، لكن الوكيل لديه وصول للقراءة فقط ويرسل إلى قناة تيليجرام الخاصة بهم فقط. في المجمل، يعمل النظام منذ 135 يومًا، مع حوالي شهر من التوقف بسبب مشكلات متنوعة.