Sáu thành phần chính của một tác nhân lập trình: Cách các hệ thống AI hiện đại viết mã

Trong một bài viết chi tiết, Sebastian Raschka giải thích về thiết kế của các tác nhân mã hóa và bộ khung (harness), sử dụng Mini Coding Agent của ông làm ví dụ cụ thể. Ông phân biệt giữa các mô hình ngôn ngữ lớn (LLM), mô hình suy luận, tác nhân và bộ khung tác nhân. Sáu thành phần cốt lõi bao gồm: 1) ngữ cảnh kho lưu trữ trực tiếp (thu thập thông tin workspace như nhánh git, tệp README, v.v.), 2) hình dạng prompt và tái sử dụng bộ nhớ đệm (tách phần tiền tố ổn định khỏi phần động để tránh xử lý lại), 3) công cụ có cấu trúc với xác thực và quyền hạn (các công cụ đã biết với đối số được xác thực và kiểm tra an toàn), 4) giảm ngữ cảnh và quản lý đầu ra (cắt bỏ lịch sử không liên quan để kiểm soát sự phình to), 5) bảng ghi, bộ nhớ và khả năng tiếp tục (kho lưu trữ phiên, bộ nhớ ngắn hạn, khả năng tiếp tục tác vụ), và 6) ủy quyền và tác nhân phụ có giới hạn (công cụ có thể ủy quyền công việc cho các tác nhân phụ). Tác giả cũng lưu ý rằng bộ khung có thể là yếu tố tạo nên sự khác biệt giữa các mô hình, vì các LLM hiện đại có khả năng thô tương tự nhau.