Couchbase xây dựng kiến trúc AI đa mô hình cho Capella iQ với Amazon Bedrock

Couchbase đã áp dụng Amazon Bedrock để hỗ trợ trợ lý AI Capella iQ, sử dụng Claude Sonnet 4.5 của Anthropic làm mô hình sản xuất ban đầu. Kiến trúc được lưu trữ trên Amazon EKS qua hai Khu vực AWS (us-east-1 và us-west-2) nhằm đảm bảo tính sẵn sàng cao, với điểm cuối giao diện VPC cung cấp kết nối riêng tư đến Bedrock. Tính năng suy luận liên khu vực tự động định tuyến các yêu cầu đến Khu vực Hoa Kỳ tối ưu để chuyển đổi dự phòng và phân phối tải. Nhóm đã đánh giá nhiều mô hình trên các tiêu chuẩn bao gồm sinh mã SQL++, đề xuất chỉ mục, giải thích truy vấn và hội thoại nhiều lượt, trong đó Claude Sonnet 4.5 đạt độ chính xác khoảng 76%. Thiết kế không phụ thuộc nhà cung cấp cho phép thay đổi mô hình thông qua cấu hình mà không cần thay đổi mã. Các kế hoạch tương lai bao gồm tối ưu hóa chi phí thông qua các mô hình nhỏ hơn được tinh chỉnh sử dụng tính năng nhập mô hình tùy chỉnh của Bedrock. Những thách thức chính bao gồm kiểm tra chuyển đổi dự phòng liên khu vực và chuẩn hóa đánh giá mô hình.