Tác nhân AI tự động giám sát nhật ký sản xuất trong 4 tháng: 113 cảnh báo, 2 lần ảo giác và bản sửa lỗi trong 3,5 giờ

Trợ lý AI giám sát nhật ký sản xuất cho nền tảng Creatorry, nền tảng tạo nhạc, ảnh và video bằng AI. Hệ thống bao gồm 18 dịch vụ, ghi lại khoảng 300.000 dòng nhật ký mỗi ngày, trong đó có khoảng 12.500 lỗi hoặc cảnh báo. Trợ lý chạy mỗi 30 phút, truy vấn Loki để tìm các lỗi gần đây và chỉ gửi cảnh báo đến Telegram nếu phát hiện sự cố nghiêm trọng hoặc sự gia tăng đáng kể về tỷ lệ lỗi. Trong 84 ngày, trợ lý đã đưa ra 113 cảnh báo, với 69 lỗi, 41 sự cố nghiêm trọng và ba mục đầu tiên thiếu nhãn mức độ nghiêm trọng. Cảnh báo có tác động lớn nhất đã phát hiện một lỗi nghiêm trọng vào đầu ngày 1 tháng 6, dẫn đến việc sửa lỗi được hợp nhất trong vòng 3,5 giờ. Trợ lý cũng phát hiện một loạt lỗi 503 cho thấy nhà cung cấp dự phòng không được sử dụng. Tuy nhiên, trợ lý đã hai lần bị ảo giác: một lần bịa ra mã thông báo bot và một lần báo cáo số lỗi tăng cao. Để khắc phục, nhóm đã triển khai bước xác minh trong đó một mô hình riêng đếm lại lỗi bằng các phương pháp khác nhau và họ đặt ngưỡng tỷ lệ nghiêm ngặt là 2.0 để từ chối các cảnh báo chưa được xác minh. Trợ lý ban đầu sử dụng Claude Opus nhưng đã chuyển lại sang MiniMax-M3 do Opus dài dòng và chi phí cao. Trợ lý tiêu thụ khoảng 435 triệu token mỗi tháng với gói đăng ký 10 đô la, với hầu hết token đến từ việc đọc bộ nhớ đệm. Nhóm nhấn mạnh an toàn chống tiêm prompt, vì nhật ký là dữ liệu đầu vào không đáng tin cậy, nhưng trợ lý chỉ có quyền truy cập chỉ đọc và chỉ gửi đến kênh Telegram của riêng họ. Tổng cộng, hệ thống đã chạy được 135 ngày, với khoảng một tháng gián đoạn do nhiều vấn đề khác nhau.