Code quyết định, LLM hỗ trợ: Xây dựng huấn luyện viên chạy bộ AI
Anthropic
Bài viết mô tả quá trình phát triển một bot huấn luyện viên chạy bộ AI trên Telegram, có tên là Claude de Pace. Tác giả chia sẻ những bài học quan trọng từ các tương tác thực tế của người dùng, nhấn mạnh rằng các bất biến kinh doanh phải được thực thi bằng code, không để cho mô hình ngôn ngữ tự quyết. Hệ thống cân bằng giữa code xác định và đầu ra LLM có kiểm soát, sử dụng chỉ số đánh giá cường độ chủ quan làm thước đo chính, và bao gồm một tác nhân AI giúp gỡ lỗi và cải thiện bot.
Tác giả đã phát triển một bot huấn luyện viên chạy bộ bằng AI trên Telegram có tên Claude de Pace. Một sự cố nghiêm trọng đã xảy ra khi người dùng yêu cầu chuyển buổi tập nhẹ sang thứ Bảy, nhưng mô hình lại nhầm lẫn thay đổi buổi tập của thứ Năm. Sự việc này đã dẫn đến một nguyên tắc chỉ đạo quan trọng: chính mã nguồn (code) phải là thứ thực thi các bất biến nghiệp vụ (business invariants), chứ không phải mô hình ngôn ngữ lớn (Large Language Model - LLM). Hệ thống sau đó đã được cải tiến theo hướng hạn chế quyền tự quyết của mô hình, bằng cách áp dụng các lược đồ JSON (JSON schema) nghiêm ngặt, cơ chế xác thực (validation), và các phương án dự phòng mang tính xác định (deterministic fallback).
Bot này duy trì hình tượng một huấn luyện viên người Pháp, sử dụng các dữ kiện được trích xuất từ những cuộc trò chuyện để cá nhân hóa phản hồi. Quá trình thử nghiệm thực tế với người dùng đã bộc lộ nhiều vấn đề như nút bấm bị bỏ qua và phân loại sai, từ đó dẫn đến việc bổ sung các tính năng như bản nháp xác nhận (draft confirmation) mỗi khi có thay đổi về lịch tập.
Tác giả cũng đã xây dựng thêm một agent AI để phân tích nhật ký hệ thống (log) và đề xuất các bản vá mã nguồn, mang lại khoảng 30 cải tiến. Hơn 20 người dùng tích cực đã cung cấp những phản hồi quý giá cho dự án. Trong tương lai, tác giả dự định tích hợp bot với đồng hồ thông minh và bổ sung thêm các tính năng xã hội như lịch thi đấu và chia sẻ buổi tập.
Nguồn: Habr — хаб ИИ —
bản gốc
