Otonom Yapay Zeka Ajanı 4 Aydır Üretim Günlüklerini İzliyor: 113 Uyarı, 2 Halüsinasyon ve 3,5 Saatte Çözüm

AI ajanı, AI kullanarak müzik, fotoğraf ve video üreten Creatorry platformunun üretim loglarını izliyor. Sistem, günde yaklaşık 300.000 satır log kaydeden 18 hizmetten oluşuyor ve bunların yaklaşık 12.500'ü hata veya uyarı. Ajan her 30 dakikada bir çalışıyor, son hatalar için Loki'yi sorguluyor ve yalnızca kritik sorunlar veya hata oranlarında önemli bir artış tespit ettiğinde Telegram'a uyarı gönderiyor. 84 gün boyunca ajan 113 uyarı yayınladı; 69 hata, 41 kritik ve önem düzeyi etiketi eksik olan üç erken kayıt. En etkili uyarı, 1 Haziran'da erken saatlerde kritik bir hatayı tespit etti ve 3,5 saat içinde birleştirilen bir düzeltmeye yol açtı. Ajan ayrıca, yedek sağlayıcının kullanılmadığını ortaya çıkaran bir dizi 503 hatasını da yakaladı. Ancak ajan iki kez halüsinasyon gördü: bir kez bot token'ı uydurdu, diğerinde ise şişirilmiş hata sayıları bildirdi. Bunu önlemek için ekip, ayrı bir modelin farklı yöntemler kullanarak hataları yeniden saydığı bir doğrulama adımı uyguladı ve doğrulanmamış uyarıları reddetmek için 2,0 gibi katı bir oran eşiği belirledi. Ajan başlangıçta Claude Opus kullandı ancak Opus'un ayrıntılı olması ve yüksek maliyeti nedeniyle MiniMax-M3'e geri döndü. Ajan, aylık 10 dolarlık bir abonelikle ayda yaklaşık 435 milyon token tüketiyor ve tokenların çoğu önbelleğe alınmış okumalardan geliyor. Ekip, loglar güvenilmeyen girdi olduğu için prompt enjeksiyon güvenliğini vurguluyor, ancak ajan yalnızca okuma erişimine sahip ve yalnızca kendi Telegram kanallarına gönderiyor. Toplamda sistem 135 gündür çalışıyor ve çeşitli sorunlar nedeniyle yaklaşık bir ay kesinti yaşandı.