Couchbase rakensi monimallisen tekoälyarkkitehtuurin Capella iQ:lle Amazon Bedrockin avulla

AWS ML -blogissa kerrotaan, kuinka Couchbase rakensi monimallisen tekoälyarkkitehtuurin Capella iQ:lle, joka on kehittäjän tekoälyavustaja. Se tuottaa tietokantakyselyitä, suosittelee indeksejä ja tukee monisäikeisiä keskusteluja. Arkkitehtuuri on otettu käyttöön kahdella AWS-alueella (us-east-1 ja us-west-2) Amazon EKS:n avulla, ja mallikutsut suoritetaan Amazon Bedrockin kautta. Kehittäjien pyynnöt käsittelevät mikropalvelut cp-api, cp-internal-api ja cp-ns, jotka määrittävät reitityksen ja mallikonfiguraatiot. Kaikki liikenne kulkee VPC-rajapinnan kautta eikä mene julkiseen internetiin. Alueiden välinen päättely (Cross-Region Inference) ohjaa automaattisesti pyyntöjä Yhdysvaltojen alueiden välillä häiriöiden tai kuormituspiikkien sattuessa. Mallin valinnassa Couchbase teki vertailuanalyysin BIRD-tyyppisellä menetelmällä: Claude Sonnet 4.5 saavutti noin 76 prosentin tarkkuuden ja valittiin päämalliksi. Amazon Bedrock mahdollisti toimittajariippumattoman arkkitehtuurin: mallin vaihtaminen vaatii vain konfiguraation muutoksen ilman koodin muokkausta. Tulevaisuudessa Couchbase suunnittelee käyttävänsä mukautettujen mallien tuontia (Bedrock Custom Model Import) korkean käyttötaajuuden tehtävien kustannusten optimoimiseksi.