Gateway AgentCore da AWS Agora Suporta Limitação de Taxa para Tráfego de IA

O gateway Amazon Bedrock AgentCore, um gateway de IA sem servidor e totalmente gerenciado que fornece um ponto de entrada seguro e único para tráfego de IA, agora oferece suporte à limitação de taxa. Isso permite um controle refinado sobre quanto tráfego usuários individuais podem consumir por meio do gateway. A limitação de taxa oferece controle por usuário sobre o uso de ferramentas, modelos de inferência e agentes, com regras baseadas em OAuth ou IAM para solicitações por minuto, conexões simultâneas e throughput de tokens. O gateway suporta três tipos de alvo: alvos MCP, alvos de inferência e alvos de passagem HTTP. As métricas de limitação de taxa suportadas incluem limites de taxa de solicitação (RPS/RPM) para todos os alvos, limites de taxa de token (TPM) para alvos de inferência e limites de taxa de conexão (CPS) para todos os alvos. As chaves de dimensão definem como o tráfego é agrupado em buckets de taxa, incluindo targetName, toolName, qualifiedModelId e atributos de identidade, como claims JWT e principais IAM. As entradas especificam o throughput permitido por bucket, com suporte a curingas. Duas camadas de limitação de taxa são aplicadas: limites definidos pelo cliente e cotas de serviço. Os limites definidos pelo cliente incluem limites no nível do usuário, no nível do alvo e no nível híbrido alvo-usuário. Um exemplo de configuração mostra limites por grupo e por usuário para grupos de usuários Básico, Avançado e Beta, com modelos restritos para usuários Beta.