Từ span đến kịch bản tác nhân: Tại sao chúng tôi thêm chế độ xem GenAI của trace
OpenAI
Nền tảng quan sát Proto đã giới thiệu một chế độ xem trace GenAI chuyên dụng với bốn chế độ: feed, đồ thị bước, đồ thị cuộc gọi và trò chuyện. Mỗi chế độ trả lời một câu hỏi khác nhau về hành vi của tác nhân, từ thực thi tuần tự đến kết quả người dùng thấy. Thiết kế được thúc đẩy bởi các lỗi thực tế trong thiết bị đo GenAI, chẳng hạn như ngữ cảnh lặp lại, lỗi ẩn và các vấn đề đếm token.
Proto Observability Platform đã bổ sung chế độ xem GenAI cho traces, nhằm giải quyết khó khăn trong việc tái dựng logic của agent từ một cây spans đơn giản. Chế độ xem này có bốn dạng: một feed hiển thị các thao tác theo thứ tự thời gian kèm thời gian thực hiện, một biểu đồ bước thu gọn các thao tác lặp lại để lộ vòng lặp của agent, một biểu đồ gọi hiển thị từng lần gọi riêng lẻ với các tham số và trạng thái độc nhất, và một chế độ chat tái dựng cuộc hội thoại của người dùng từ lịch sử tin nhắn có thể bị lặp lại. Các nhà phát triển đã gặp phải một số vấn đề thực tế: lịch sử hội thoại đầy đủ được gửi trong mỗi lần gọi model, dẫn đến trùng lặp; các span vận chuyển có thể làm sai lệch thời gian nếu tính tổng một cách ngây thơ; kết quả công cụ có cấu trúc có thể chứa lỗi ngay cả khi trạng thái thao tác hiển thị thành công, vì vậy mô hình lỗi được tách riêng khỏi mô hình hiển thị; và mức tiêu thụ token có thể là tích lũy hoặc theo từng thao tác, đòi hỏi phải phát hiện ngữ nghĩa cẩn thận trước khi tổng hợp. Biểu diễn cố tình ẩn các chi tiết không liên quan đến câu hỏi mà mỗi chế độ trả lời, trong khi các thuộc tính thô vẫn có sẵn để xác minh.
Nguồn: Habr — хаб ИИ —
bản gốc
