Couchbase built a multimodel AI architecture for Capella iQ with Amazon Bedrock

Dalam blog AWS ML, dijelaskan bagaimana Couchbase membangun arsitektur AI multi-model untuk Capella iQ — asisten AI pengembang yang menghasilkan kueri basis data, merekomendasikan indeks, dan mendukung dialog multi-utas. Arsitektur ini diterapkan di dua region AWS (us-east-1 dan us-west-2) menggunakan Amazon EKS, dengan pemanggilan model melalui Amazon Bedrock. Permintaan dari pengembang diproses oleh mikrolayanan cp-api, cp-internal-api, dan cp-ns, yang menentukan perutean dan konfigurasi model. Seluruh lalu lintas melalui antarmuka VPC, tanpa keluar ke internet publik. Inferensi lintas region (Cross-Region Inference) secara otomatis mengarahkan ulang permintaan antar region AS saat terjadi kegagalan atau lonjakan beban. Untuk pemilihan model, Couchbase melakukan benchmarking menggunakan metodologi mirip BIRD: Claude Sonnet 4.5 menunjukkan akurasi sekitar 76% dan dipilih sebagai model utama. Amazon Bedrock memungkinkan arsitektur menjadi independen terhadap penyedia: pergantian model hanya memerlukan perubahan konfigurasi, tanpa mengubah kode. Ke depannya, Couchbase berencana menggunakan impor model kustom (Custom Model Import di Bedrock) untuk mengoptimalkan biaya tugas-tugas frekuensi tinggi.