AgentCore ゲートウェイ、AI トラフィックのレート制限に対応

Amazon Bedrock AgentCore ゲートウェイは、AI トラフィックのための単一のセキュアなエントリポイントを提供する、完全マネージド型のサーバーレス AI ゲートウェイですが、このたびレート制限をサポートしました。これにより、ゲートウェイを通じて個々のユーザーが消費できるトラフィック量を細かく制御できます。レート制限により、ツール、推論モデル、エージェントの使用状況をユーザー単位で制御でき、OAuth または IAM ベースのルールを使用して、1 分あたりのリクエスト数、同時接続数、トークンスループットを管理できます。このゲートウェイは、MCP ターゲット、推論ターゲット、HTTP パススルー ターゲットの 3 つのターゲットタイプをサポートしています。サポートされるレート制限メトリクスには、すべてのターゲットに対するリクエストレート制限 (RPS/RPM)、推論ターゲットに対するトークンレート制限 (TPM)、およびすべてのターゲットに対する接続レート制限 (CPS) が含まれます。ディメンションキーは、トラフィックをレートバケットにグループ化する方法を定義し、targetName、toolName、qualifiedModelId、および JWT クレームや IAM プリンシパルなどの ID クレームが含まれます。エントリは、バケットごとの許可スループットを指定し、ワイルドカードをサポートします。レート制限は、顧客定義の制限とサービス割り当ての 2 つの層で適用されます。顧客定義の制限には、ユーザーレベル、ターゲットレベル、およびハイブリッドなターゲットとユーザーレベルの制限が含まれます。構成例では、Basic、Advanced、Beta のユーザーグループに対するグループごとの制限とユーザーごとの制限が示されており、Beta ユーザーにはモデルが制限されています。