Couchbase построила мультимодельную ИИ-архитектуру для Capella iQ на базе Amazon Bedrock
Anthropic
Amazon Web Services
Couchbase
Couchbase использовала Amazon Bedrock для создания масштабируемой, отказоустойчивой архитектуры ИИ-ассистента Capella iQ. Решение поддерживает несколько моделей (включая Claude от Anthropic), использует Cross-Region Inference для автоматического восстановления при сбоях и обеспечивает высокую безопасность данных.
Couchbase разработала мультимодельную архитектуру ИИ для своего сервиса Capella iQ, используя Amazon Bedrock. Архитектура развёрнута в двух AWS-регионах (us-east-1 и us-west-2) и включает кластер Amazon EKS с микросервисами cp-api, cp-internal-api и cp-ns. Запросы от разработчиков обрабатываются через приватный VPC-интерфейс, не выходя в публичный интернет. Amazon Bedrock автоматически направляет запросы в оптимальный регион с помощью Cross-Region Inference, что обеспечивает автоматическое восстановление при сбоях. В качестве начальной производственной модели выбрана Anthropic Claude Sonnet 4.5, показавшая около 76% точности по внутреннему бенчмарку. Couchbase также изучает возможность развёртывания более лёгких дообученных моделей через Amazon Bedrock Custom Model Import для снижения затрат на высоконагруженные задачи. Инвестиции в абстракцию провайдера позволили интегрировать Bedrock без изменения пользовательского опыта.
- Сокращения
- EKS = Amazon Elastic Kubernetes Service — сервис Kubernetes от Amazon
- VPC = Virtual Private Cloud — виртуальное частное облако
- CRIS = Cross-Region Inference — кросс-региональный вывод
- API = Application Programming Interface — интерфейс программирования приложений
Источник: AWS ML blog —
оригинал
