AgentCore 게이트웨이, 이제 AI 트래픽에 대한 속도 제한 지원

Amazon Bedrock AgentCore 게이트웨이는 완전 관리형 서버리스 AI 게이트웨이로, AI 트래픽을 위한 단일 보안 진입점을 제공하며, 이제 속도 제한을 지원합니다. 이를 통해 개별 사용자가 게이트웨이를 통해 소비할 수 있는 트래픽 양을 세밀하게 제어할 수 있습니다. 속도 제한은 도구, 추론 모델 및 에이전트의 사용에 대해 사용자별 제어를 제공하며, OAuth 또는 IAM 기반 규칙을 통해 분당 요청 수, 동시 연결 수 및 토큰 처리량을 관리합니다. 게이트웨이는 MCP 대상, 추론 대상 및 HTTP 패스스루 대상의 세 가지 대상 유형을 지원합니다. 지원되는 속도 제한 지표에는 모든 대상에 대한 요청 속도 제한(초당 요청 수/분당 요청 수), 추론 대상에 대한 토큰 속도 제한(분당 토큰 수), 그리고 모든 대상에 대한 연결 속도 제한(초당 연결 수)이 포함됩니다. 차원 키는 트래픽이 속도 버킷으로 그룹화되는 방식을 정의하며, 대상 이름, 도구 이름, 정규화된 모델 ID 및 JWT 클레임 및 IAM 보안 주체와 같은 ID 클레임이 포함됩니다. 항목은 버킷별 허용 처리량을 지정하며 와일드카드를 지원합니다. 속도 제한은 고객 정의 제한과 서비스 할당량의 두 계층으로 적용됩니다. 고객 정의 제한에는 사용자 수준, 대상 수준 및 하이브리드 대상-사용자 수준 제한이 포함됩니다. 예제 구성은 Basic, Advanced 및 Beta 사용자 그룹에 대한 그룹별 및 사용자별 제한을 보여주며, Beta 사용자에게는 제한된 모델이 적용됩니다.