Couchbase built a multimodel AI architecture for Capella iQ with Amazon Bedrock

AWS ML 블로그에서는 Couchbase가 Capella iQ를 위해 멀티모달 AI 아키텍처를 구축한 방법을 소개합니다. Capella iQ는 데이터베이스 쿼리 생성, 인덱스 추천, 멀티턴 대화 지원을 제공하는 AI 개발자 도우미입니다. 이 아키텍처는 Amazon EKS를 사용하여 AWS의 두 리전(us-east-1 및 us-west-2)에 배포되었으며, 모델 호출은 Amazon Bedrock을 통해 이루어집니다. 개발자의 요청은 마이크로서비스 cp-api, cp-internal-api 및 cp-ns가 처리하며, 이들은 라우팅과 모델 구성을 결정합니다. 모든 트래픽은 VPC 인터페이스를 통해 전송되며, 퍼블릭 인터넷을 경유하지 않습니다. Cross-Region Inference(크로스 리전 추론)는 장애나 부하 급증 시 미국 리전 간 요청을 자동으로 리디렉션합니다. 모델 선택을 위해 Couchbase는 BIRD 유사 방법론으로 벤치마킹을 수행했으며, Claude Sonnet 4.5는 약 76%의 정확도를 보여 기본 모델로 선택되었습니다. Amazon Bedrock을 통해 아키텍처는 공급업체에 독립적이 되었으며, 모델 변경은 코드 수정 없이 구성만 변경하면 됩니다. 향후 Couchbase는 Bedrock Custom Model Import(베드록 커스텀 모델 임포트)를 사용하여 빈번한 작업의 비용을 최적화할 계획입니다.