Sự cố của AI agent: vì sao bảng điều khiển xanh nhưng agent nói dối nhiều ngày

Các tác nhân AI thất bại theo cách khác với các dịch vụ truyền thống: chúng không sập đổ mà dần dần suy giảm, khiến các chỉ số thời gian hoạt động và tỷ lệ lỗi thông thường trở nên vô dụng. Các tác nhân đưa ra quyết định không xác định ở mỗi bước, do đó các lỗi xảy ra trong các chu kỳ suy luận thay vì trong các phản hồi cuối cùng. Để đạt được khả năng quan sát, các nhóm phải theo dõi toàn bộ chu kỳ suy luận với một mã định danh duy nhất (trace ID), đo lường các chỉ số cấp tác nhân như độ chính xác lựa chọn công cụ và tỷ lệ hoàn thành mục tiêu, đánh giá một mẫu phản hồi bằng cách sử dụng LLM-làm-thẩm-phán (LLM-as-judge), quản lý phiên bản prompt trong Git, và ghi dữ liệu đo xa (telemetry) đến hai đích (ví dụ: nhà cung cấp đám mây và các công cụ chuyên biệt) để tránh bị khóa nhà cung cấp. Những thực hành này là cần thiết ngay cả trước khi các công cụ quan sát tác nhân chuyên biệt trưởng thành.