TAKC: Nén kiến thức theo tác vụ cho AI doanh nghiệp trên AWS, phương pháp vượt xa RAG

AWS giới thiệu TAKC (nén kiến thức theo từng tác vụ) như một giải pháp thay thế cho RAG (truy xuất tăng cường sinh) trong các tác vụ AI doanh nghiệp yêu cầu suy luận chéo tài liệu, chẳng hạn như thẩm định tài chính hoặc tuân thủ quy định. TAKC sử dụng một LLM (mô hình ngôn ngữ lớn) để tạo ra các bản tóm tắt ngắn hơn, tập trung vào tác vụ của toàn bộ tài liệu, với nhiều mức nén (8 lần, 16 lần, 32 lần, 64 lần). Một bộ phân tích độ phức tạp truy vấn định tuyến câu hỏi đến mức phù hợp. Việc triển khai trên AWS sử dụng hai pipeline không máy chủ tách rời: nạp và truy vấn. Trong quá trình nạp, các tài liệu trong S3 kích hoạt các hàm Lambda để phân đoạn và nén dữ liệu thông qua Amazon Bedrock, lưu trữ kết quả trong ElastiCache và S3. Đường dẫn truy vấn sử dụng API Gateway, Cognito và Lambda để truy xuất ngữ cảnh đã nén và tạo câu trả lời. TAKC được thiết kế cho các cơ sở tri thức ít thay đổi và yêu cầu các truy vấn phân tích phức tạp. Bài viết bao gồm so sánh chi phí cho thấy TAKC có thể giảm đáng kể lượng token đầu vào so với sử dụng toàn bộ ngữ cảnh hoặc RAG. AWS khuyến nghị sử dụng cả TAKC và RAG trong sản xuất: RAG cho tra cứu nhanh, TAKC cho các truy vấn phân tích.