Couchbase, Amazon Bedrock 기반 Capella iQ를 위한 멀티모델 AI 아키텍처 구축

Couchbase는 Amazon Bedrock을 채택하여 Capella iQ AI 어시스턴트를 구동하고 있으며, 초기 프로덕션 모델로 Anthropic의 Claude Sonnet 4.5를 사용하고 있습니다. 아키텍처는 고가용성을 위해 두 개의 AWS 리전(us-east-1 및 us-west-2)의 Amazon EKS에서 호스팅되며, VPC 인터페이스 엔드포인트가 Bedrock에 대한 프라이빗 연결을 제공합니다. 교차 리전 추론(Cross-Region Inference)은 장애 조치 및 부하 분산을 위해 요청을 최적의 US 리전으로 자동 라우팅합니다. 팀은 SQL++ 생성, 인덱스 추천, 쿼리 설명 및 다중 턴 대화를 포함한 벤치마크에서 여러 모델을 평가했으며, Claude Sonnet 4.5는 약 76%의 정확도를 달성했습니다. 공급자에 구애받지 않는 설계로 코드 변경 없이 구성을 통해 모델을 변경할 수 있습니다. 향후 계획에는 Bedrock의 Custom Model Import를 사용한 미세 조정된 소형 모델을 통한 비용 최적화가 포함됩니다. 주요 과제로는 교차 리전 장애 조치 테스트와 모델 벤치마크 정규화가 있었습니다.