Couchbase membangun arsitektur AI multi-model untuk Capella iQ dengan Amazon Bedrock

Couchbase telah mengadopsi Amazon Bedrock untuk mendukung asisten AI Capella iQ, dengan menggunakan Claude Sonnet 4.5 dari Anthropic sebagai model produksi awal. Arsitektur ini dihosting di Amazon EKS yang tersebar di dua Wilayah AWS (us-east-1 dan us-west-2) untuk ketersediaan tinggi, dengan titik akhir antarmuka VPC yang menyediakan konektivitas privat ke Bedrock. Cross-Region Inference secara otomatis mengarahkan permintaan ke Wilayah AS yang optimal untuk failover dan distribusi beban. Tim mengevaluasi beberapa model berdasarkan tolok ukur yang mencakup pembuatan SQL++, rekomendasi indeks, penjelasan kueri, dan percakapan multi-giliran, dengan Claude Sonnet 4.5 mencapai akurasi sekitar 76%. Desain yang tidak bergantung pada penyedia memungkinkan perubahan model melalui konfigurasi tanpa perlu mengubah kode. Rencana ke depan mencakup optimalisasi biaya melalui model yang lebih kecil yang disesuaikan menggunakan Custom Model Import dari Bedrock. Tantangan utama meliputi pengujian failover lintas wilayah dan normalisasi tolok ukur model.