TAKC: Kompresi Pengetahuan Sadar Tugas untuk Enterprise AI di AWS, Pendekatan Beyond-RAG
Amazon Web Services
Anthropic
AWS memperkenalkan kompresi pengetahuan sadar tugas (TAKC), sebuah teknik yang mengompresi seluruh basis pengetahuan menjadi representasi khusus tugas untuk enterprise AI. TAKC mengatasi keterbatasan RAG dalam penalaran lintas dokumen, mengurangi jumlah token sebanyak 8x hingga 64x sambil mempertahankan informasi yang relevan dengan tugas. Solusi ini mencakup tingkatan kompresi multi-laju dan arsitektur serverless di AWS.
AWS memperkenalkan TAKC (task-aware knowledge compression) sebagai alternatif untuk RAG dalam tugas AI perusahaan yang memerlukan penalaran lintas dokumen, seperti uji tuntas keuangan atau kepatuhan regulasi. TAKC menggunakan LLM untuk menghasilkan ringkasan dokumen yang lebih pendek dan berfokus pada tugas, dengan beberapa tingkat kompresi (8x, 16x, 32x, 64x). Sebuah penganalisis kompleksitas kueri mengarahkan pertanyaan ke tingkat yang sesuai. Implementasi di AWS menampilkan dua jalur serverless yang terpisah: ingestion dan kueri. Selama ingestion, dokumen di S3 memicu fungsi Lambda yang memotong dan mengompres data melalui Amazon Bedrock, menyimpan hasilnya di ElastiCache dan S3. Jalur kueri menggunakan API Gateway, Cognito, dan Lambda untuk mengambil konteks yang telah dikompresi dan menghasilkan jawaban. TAKC dirancang untuk basis pengetahuan yang jarang berubah dan memerlukan kueri analitis yang kompleks. Artikel ini menyertakan perbandingan biaya yang menunjukkan TAKC dapat mengurangi penggunaan token input secara signifikan dibandingkan dengan konteks penuh atau RAG. AWS merekomendasikan penggunaan TAKC dan RAG secara bersamaan dalam produksi: RAG untuk pencarian cepat, TAKC untuk kueri analitis.
Sumber: AWS ML blog —
asli