Couchbase bouwde een multi-model AI-architectuur voor Capella iQ met Amazon Bedrock

Couchbase heeft Amazon Bedrock geadopteerd om zijn Capella iQ AI-assistent te ondersteunen, waarbij Anthropic's Claude Sonnet 4.5 als het eerste productiemodel wordt gebruikt. De architectuur wordt gehost op Amazon EKS in twee AWS-regio's (us-east-1 en us-west-2) voor hoge beschikbaarheid, met een VPC-interface-eindpunt dat privéconnectiviteit met Bedrock biedt. Cross-Region Inference stuurt aanvragen automatisch naar de optimale US-regio voor failover en lastverdeling. Het team evalueerde meerdere modellen op benchmarks voor SQL++-generatie, indexaanbevelingen, query-uitleg en gesprekken met meerdere beurten, waarbij Claude Sonnet 4.5 een nauwkeurigheid van ongeveer 76% behaalde. Het provider-agnostische ontwerp maakt modelwijzigingen via configuratie mogelijk zonder codeaanpassingen. Toekomstige plannen omvatten kostenoptimalisatie via fijngetunede kleinere modellen met behulp van Custom Model Import van Bedrock. Belangrijke uitdagingen waren testen van cross-regio-failover en normalisatie van modelbenchmarks.