Sự phát triển của nén ngữ cảnh trong các tác tử AI

AI agent là một chuỗi trao đổi tin nhắn giữa người dùng và mô hình ngôn ngữ (LLM), trong đó mô hình có thể gọi các công cụ hoặc MCP. Mỗi tương tác sẽ được thêm vào lịch sử hội thoại, và toàn bộ lịch sử này thường được gửi đến lần gọi mô hình tiếp theo. Tuy nhiên, cửa sổ ngữ cảnh, dù lớn, không phải là vô hạn, và hiệu suất sẽ giảm sút với những lịch sử dài và được cấu trúc kém. Bài báo kinh điển 'Lost in the Middle' cho thấy một đường cong hình chữ U: các mô hình sử dụng phần đầu và phần cuối của đầu vào dài tốt hơn phần giữa. Bài viết này truy tìm sự tiến hóa của các phương pháp nén ngữ cảnh: cắt bớt phần đuôi đơn giản (cửa sổ trượt) trong LangChain thông qua trim_messages; tóm tắt các tin nhắn cũ thành một khối tóm tắt bằng SummarizationMiddleware trong create_agent; sau đó bảo vệ N tin nhắn đầu tiên và phần đuôi mới nhất trong khi nén phần giữa, như thấy trong Hermes Agent và tính năng nén từ giữa ra ngoài của OpenRouter. Cách tiếp cận mới nhất tách lịch sử được lưu trữ khỏi ngữ cảnh làm việc: toàn bộ lịch sử được giữ bên ngoài (ví dụ, trong một tệp), lần gọi mô hình nhận một chế độ xem với phần đuôi mới nhất cộng với một bản tóm tắt, và agent được cung cấp các công cụ như read_file hoặc grep để truy xuất chi tiết từ lịch sử đầy đủ. Thư viện Deep Agents của LangChain triển khai điều này trong SummarizationMiddleware của nó, mặc dù tên gọi này dễ gây nhầm lẫn với middleware cơ bản. Sự tiến hóa này là một phần của xu hướng rộng hơn về kỹ thuật ngữ cảnh, phân biệt những gì agent biết (toàn bộ lịch sử, kết quả công cụ, kỹ năng) với những gì được đưa vào lần gọi mô hình tiếp theo.