Couchbase、Amazon Bedrockを用いてCapella iQ向けマルチモデルAIアーキテクチャを構築

Couchbaseは、同社のCapella iQ AIアシスタントを支えるためにAmazon Bedrockを採用し、初期の本番モデルとしてAnthropicのClaude Sonnet 4.5を使用しています。このアーキテクチャは、高可用性を実現するために、Amazon EKS上で2つのAWSリージョン（us-east-1およびus-west-2）にわたってホストされており、VPCインターフェースエンドポイントがBedrockへのプライベート接続を提供します。クロスリージョン推論は、フェイルオーバーと負荷分散のために、リクエストを最適なUSリージョンに自動的にルーティングします。チームは、SQL++生成、インデックス推奨、クエリ説明、マルチターン会話をカバーするベンチマークで複数のモデルを評価し、Claude Sonnet 4.5は約76%の精度を達成しました。プロバイダーに依存しない設計により、コード変更なしで設定を介してモデルを変更できます。将来の計画には、Bedrockのカスタムモデルインポートを使用した、微調整された小規模モデルによるコスト最適化が含まれます。主な課題は、クロスリージョンのフェイルオーバーテストとモデルベンチマークの正規化でした。