Couchbase 基于 Amazon Bedrock 为 Capella iQ 构建多模型 AI 架构

Couchbase已采用Amazon Bedrock为其Capella iQ AI助手提供支持，并使用Anthropic的Claude Sonnet 4.5作为初始生产模型。该架构托管在两个AWS区域（us-east-1和us-west-2）的Amazon EKS上以实现高可用性，并通过VPC接口端点提供与Bedrock的私有连接。跨区域推理自动将请求路由至最优的美国区域以实现故障转移和负载分配。团队在多个基准测试上评估了模型，涵盖SQL++生成、索引建议、查询解释和多轮对话，其中Claude Sonnet 4.5达到了约76%的准确率。与提供商无关的设计允许通过配置更改模型而无需修改代码。未来计划包括通过使用Bedrock的自定义模型导入功能对更小的模型进行微调来实现成本优化。主要挑战包括跨区域故障转移测试和模型基准测试的标准化。