TAKC: AWS 기업 AI를 위한 태스크 인식 지식 압축, RAG를 넘어서는 접근법

AWS가 엔터프라이즈 AI 작업에서 교차 문서 추론이 필요한 금융 실사나 규제 준수와 같은 경우를 위해 기존의 RAG(검색 증강 생성) 대안으로 TAKC(과제 인식 지식 압축, Task-Aware Knowledge Compression)를 제시합니다. TAKC는 LLM을 사용하여 전체 문서의 더 짧고 과제에 초점을 맞춘 요약을 생성하며, 8배, 16배, 32배, 64배의 여러 압축 단계를 제공합니다. 쿼리 복잡성 분석기가 적절한 단계로 질문을 라우팅합니다. AWS에서의 구현은 두 개의 분리된 서버리스 파이프라인(수집 및 쿼리)을 특징으로 합니다. 수집 중에는 S3의 문서가 Lambda 함수를 트리거하여 Amazon Bedrock을 통해 데이터를 청킹하고 압축한 후, 결과를 ElastiCache와 S3에 저장합니다. 쿼리 경로는 API Gateway, Cognito, Lambda를 사용하여 압축된 컨텍스트를 검색하고 답변을 생성합니다. TAKC는 자주 변경되지 않고 복잡한 분석 쿼리가 필요한 지식 기반을 위해 설계되었습니다. 기사에는 TAKC가 전체 컨텍스트나 RAG에 비해 입력 토큰 사용량을 크게 줄일 수 있음을 보여주는 비용 비교가 포함되어 있습니다. AWS는 프로덕션에서 TAKC와 RAG를 모두 사용할 것을 권장합니다: 빠른 조회에는 RAG, 분석 쿼리에는 TAKC를 사용합니다.