TAKC : compression de connaissances adaptée aux tâches pour l'IA d'entreprise sur AWS, une approche au-delà du RAG

AWS présente TAKC (task-aware knowledge compression, soit compression des connaissances adaptée aux tâches) comme une alternative au RAG pour les tâches d'IA en entreprise nécessitant un raisonnement entre documents, telles que la due diligence financière ou la conformité réglementaire. TAKC utilise un LLM pour générer des résumés plus courts et ciblés sur les tâches de documents entiers, avec plusieurs niveaux de compression (8x, 16x, 32x, 64x). Un analyseur de complexité des requêtes achemine les questions vers le niveau approprié. L'implémentation sur AWS comprend deux pipelines sans serveur découplés : l'ingestion et l'interrogation. Lors de l'ingestion, les documents dans S3 déclenchent des fonctions Lambda qui segmentent et compressent les données via Amazon Bedrock, stockant les résultats dans ElastiCache et S3. Le chemin d'interrogation utilise API Gateway, Cognito et Lambda pour récupérer le contexte compressé et générer des réponses. TAKC est conçu pour les bases de connaissances qui changent peu fréquemment et nécessitent des requêtes analytiques complexes. L'article inclut une comparaison des coûts montrant que TAKC peut réduire considérablement l'utilisation de jetons d'entrée par rapport au contexte complet ou au RAG. AWS recommande d'utiliser à la fois TAKC et RAG en production : RAG pour les recherches rapides, TAKC pour les requêtes analytiques.