TAKC: AWS'de Kurumsal Yapay Zeka için Görev Bilincine Sahip Bilgi Sıkıştırma, RAG'ın Ötesinde Bir Yaklaşım

AWS, kurumlar arası belge muhakemesi gerektiren finansal durum tespiti veya düzenleyici uyum gibi kurumsal yapay zeka görevleri için RAG'e (retrieval augmented generation, getirmeyle artırılmış üretim) alternatif olarak TAKC'yi (task-aware knowledge compression, görev bilincinde bilgi sıkıştırma) sunuyor. TAKC, bir büyük dil modeli (LLM) kullanarak tüm belgelerin daha kısa, görev odaklı özetlerini oluşturur ve birden çok sıkıştırma kademesi (8x, 16x, 32x, 64x) içerir. Bir sorgu karmaşıklık analizörü, soruları uygun kademeye yönlendirir. AWS'deki uygulama, iki ayrılmış sunucusuz işlem hattından oluşur: veri alımı ve sorgulama. Veri alımı sırasında, S3'teki belgeler Amazon Bedrock aracılığıyla veriyi parçalara ayıran ve sıkıştıran Lambda fonksiyonlarını tetikler ve sonuçları ElastiCache ile S3'te depolar. Sorgulama yolu, sıkıştırılmış bağlamı almak ve yanıtlar oluşturmak için API Gateway, Cognito ve Lambda kullanır. TAKC, sık değişmeyen ve karmaşık analitik sorgular gerektiren bilgi tabanları için tasarlanmıştır. Makale, TAKC'nin tam bağlam veya RAG'e kıyasla girdi token kullanımını önemli ölçüde azaltabileceğini gösteren bir maliyet karşılaştırması içeriyor. AWS, üretimde hem TAKC hem de RAG kullanılmasını öneriyor: hızlı aramalar için RAG, analitik sorgular için TAKC.