AgentCore-yhdyskäytävä tukee nyt tekoälyliikenteen nopeusrajoituksia

Amazon Bedrock AgentCore -yhdyskäytävä, joka on täysin hallinnoitu, palvelimeton tekoäly-yhdyskäytävä ja tarjoaa yhden suojatun sisääntulopisteen tekoälyliikenteelle, tukee nyt nopeuden rajoittamista. Tämä mahdollistaa hienojakoisen hallinnan siitä, kuinka paljon liikennettä yksittäiset käyttäjät voivat kuluttaa yhdyskäytävän kautta. Nopeuden rajoitus antaa käyttäjäkohtaisen hallinnan työkalujen, päättelymallien ja agenttien käyttöön, ja se käyttää OAuth- tai IAM-pohjaisia sääntöjä pyyntöihin minuutissa, samanaikaisiin yhteyksiin ja tokenien läpäisykykyyn. Yhdyskäytävä tukee kolmea kohdetyyppiä: MCP-kohteet, päättelykohteet ja HTTP-läpivientikohteet. Tuetut nopeusrajoitusmittarit sisältävät pyyntönopeusrajoitukset (RPS/RPM) kaikille kohteille, token-nopeusrajoitukset (TPM) päättelykohteille ja yhteysnopeusrajoitukset (CPS) kaikille kohteille. Dimensioavaimet määrittävät, miten liikenne ryhmitellään nopeussäiliöihin, mukaan lukien targetName, toolName, qualifiedModelId ja identiteettiväitteet, kuten JWT-väitteet ja IAM-päämiehet. Merkinnät määrittävät sallitun läpäisykyvyn säiliötä kohden, ja ne tukevat jokerimerkkejä. Nopeuden rajoitus toteutetaan kahdella tasolla: asiakkaan määrittelemät rajoitukset ja palvelukiintiöt. Asiakkaan määrittelemiin rajoituksiin kuuluvat käyttäjätason, kohdetason ja hybridi kohde-käyttäjä -tason rajoitukset. Esimerkkikonfiguraatio näyttää ryhmä- ja käyttäjäkohtaiset rajoitukset Perus-, Edistyneelle- ja Beta-käyttäjäryhmille, ja Beta-käyttäjille on rajoitettu malleja.