TAKC: Task-Oriented Knowledge Compression for Enterprise AI on AWS Instead of RAG

AWS ML blogunda, yüzlerce belgeyi kapsayan karmaşık analitik görevlerde (örneğin finansal inceleme veya uyumluluk denetimi) Retrieval-Augmented Generation (RAG) yönteminin sınırlamalarını aşmak için tasarlanan TAKC (Görev Bilincinde Bilgi Sıkıştırma - Task-aware Knowledge Compression) yaklaşımı açıklanmaktadır. TAKC, Büyük Dil Modellerini (Large Language Models - LLM) kullanarak kısa, göreve özgü belge özetleri oluşturur; aynı kaynaktan farklı görevler için farklı sıkıştırılmış temsiller üretilir. Sistem, 8x'ten (çok bileşenli akıl yürütme için hafif) 64x'e (sınıflandırma ve anahtar kelime arama için ultra) kadar dört sıkıştırma seviyesini destekler. Sorgu karmaşıklığı analizörü, soruları otomatik olarak uygun seviyeye yönlendirir. AWS altyapısı iki sunucusuz boru hattından oluşur: alım ve sorgu. Alım sırasında belge, 256 token ve 50 token örtüşme ile parçalara ayrılır; bu parçalar Amazon Bedrock (Anthropic Claude 3 Haiku, Sonnet ve Amazon Titan Text) üzerinden paralel olarak sıkıştırılır. Sıkıştırılmış temsiller Amazon ElastiCache Serverless'te önbelleğe alınır ve Amazon Simple Storage Service'te (S3) yedeklenir. Sorgu sırasında kullanıcı Amazon Cognito ile kimlik doğrulaması yapar, sorgu API Gateway ve AWS WAF üzerinden geçer; bir AWS Lambda işlevi karmaşıklığı analiz eder, ElastiCache'ten uygun sıkıştırılmış önbelleği alır ve sıkıştırılmış bağlamı soruyla birlikte Bedrock'a gönderir. Yönlendirme güveni düşükse orta sıkıştırma seviyesi kullanılır. Alım sırasında tek seferlik sıkıştırma maliyeti, nadiren değişen bir bilgi tabanına yapılan çoklu sorgularla amorti edilir. TAKC ve RAG birleştirilebilir: RAG, kaynak belirtilen hızlı arama sorguları için; TAKC ise RAG'ın yetersiz kaldığı analitik sorgular için kullanılır. Uygulama, tek bir AWS Cloud Development Kit (CDK) komutuyla dağıtılabilen açık kaynak kodlu olarak sunulmuştur.