TAKC: задачно-ориентированное сжатие знаний для корпоративного ИИ на AWS вместо RAG
Amazon Web Services
Anthropic
AWS представила технику «задачно-ориентированного сжатия знаний» (TAKC), решающую ограничения Retrieval-Augmented Generation (RAG) при сложных аналитических задачах с сотнями документов. TAKC предварительно сжимает всю базу знаний в краткие, нацеленные на задачу представления, что позволяет улавливать кросс-документные связи и сокращает затраты на входные токены в 8–64 раза.
В блоге AWS ML описан подход TAKC (Task-aware Knowledge Compression), предназначенный для преодоления ограничений RAG при выполнении сложных аналитических задач, охватывающих сотни документов (например, финансовая экспертиза или проверка соответствия нормативным требованиям). TAKC использует LLM для создания коротких, ориентированных на конкретную задачу сводок документов, причём для разных задач
Показать ещё ↓
- Сокращения
- RAG = Retrieval-Augmented Generation — генерация с дополнением по извлечённым данным
- TAKC = Task-aware Knowledge Compression — задачно-ориентированное сжатие знаний
- LLM = Large Language Model — большая языковая модель
- AWS = Amazon Web Services — облачные сервисы Amazon
- S3 = Amazon Simple Storage Service — простой сервис хранения Amazon
- API = Application Programming Interface — программный интерфейс приложения
- JWT = JSON Web Token — JSON-веб-токен
- TTL = Time to Live — время жизни
- CDK = Cloud Development Kit — комплект облачной разработки
- KMS = AWS Key Management Service — сервис управления ключами AWS
- SQS = Amazon Simple Queue Service — простой сервис очередей Amazon
Источник: AWS ML blog —
оригинал