TAKC: Compressão de Conhecimento Consciente de Tarefas para IA Empresarial na AWS, uma Abordagem Além do RAG

A AWS apresenta o TAKC (compressão de conhecimento ciente da tarefa) como uma alternativa ao RAG para tarefas empresariais de IA que exigem raciocínio entre documentos, como due diligence financeira ou conformidade regulatória. O TAKC usa um LLM para gerar resumos mais curtos e focados na tarefa de documentos inteiros, com vários níveis de compressão (8x, 16x, 32x, 64x). Um analisador de complexidade de consulta direciona as perguntas para o nível apropriado. A implementação na AWS conta com dois pipelines sem servidor desacoplados: ingestão e consulta. Durante a ingestão, documentos no S3 acionam funções Lambda que fragmentam e comprimem dados via Amazon Bedrock, armazenando resultados no ElastiCache e no S3. O caminho de consulta usa API Gateway, Cognito e Lambda para recuperar o contexto comprimido e gerar respostas. O TAKC é projetado para bases de conhecimento que mudam com pouca frequência e exigem consultas analíticas complexas. O artigo inclui uma comparação de custos que mostra que o TAKC pode reduzir significativamente o uso de tokens de entrada em comparação com o contexto completo ou o RAG. A AWS recomenda usar tanto o TAKC quanto o RAG em produção: o RAG para consultas rápidas e o TAKC para consultas analíticas.