Kỹ thuật ngữ cảnh: Nó là gì, cách làm việc với ngữ cảnh của tác nhân LLM, và tại sao bạn được trả công cho việc đó

Kỹ thuật ngữ cảnh là tập hợp các chiến lược để thu thập và duy trì ngữ cảnh tối ưu trong quá trình suy luận của mô hình ngôn ngữ lớn (LLM), trong đó ngữ cảnh tối ưu là tập hợp tối thiểu các token hữu ích. Nó khác biệt so với kỹ thuật prompt vì kỹ thuật prompt chỉ xử lý hướng dẫn, trong khi kỹ thuật ngữ cảnh quản lý mọi thứ mà mô hình nhận được cùng với hướng dẫn: lịch sử, tài liệu, công cụ, bộ nhớ và trạng thái. Kỹ thuật truy xuất tăng cường (RAG) đưa kiến thức bên ngoài vào, Giao thức ngữ cảnh mô hình (MCP) chuẩn hóa kết nối với dữ liệu và công cụ, còn kỹ thuật ngữ cảnh quyết định cách lắp ráp tất cả những điều này thành ngữ cảnh cho bước tiếp theo của tác nhân. Ngữ cảnh của một tác nhân bao gồm nhiều lớp: truy vấn người dùng, prompt hệ thống, công cụ, ví dụ few-shot, dữ liệu từ RAG, lịch sử tin nhắn và lệnh gọi công cụ, bộ nhớ và trạng thái hiện tại (scratchpad). Mặc dù các LLM hiện đại có cửa sổ ngữ cảnh lớn, báo cáo "Context Rot" của Chroma đã chỉ ra rằng khi ngữ cảnh được sử dụng tăng lên, chất lượng có thể giảm ngay cả trên các tác vụ đơn giản. Drew Breunig xác định bốn kịch bản lỗi ngữ cảnh điển hình: nhiễm độc ngữ cảnh (một lỗi xâm nhập vào ngữ cảnh và lặp lại), phân tâm ngữ cảnh (thông tin cần thiết bị mất giữa dữ liệu không liên quan), nhầm lẫn ngữ cảnh (mô hình bị nhầm lẫn giữa các công cụ/tài liệu tương tự) và xung đột ngữ cảnh (dữ liệu mâu thuẫn không có quy tắc ưu tiên). LangChain đề xuất bốn hành động để quản lý ngữ cảnh: ghi (lưu thông tin quan trọng vào trạng thái bên ngoài), chọn (chọn nội dung có liên quan), nén (nén) và cô lập (di chuyển sang ngữ cảnh riêng biệt).