Шлюз AgentCore теперь поддерживает ограничение скорости для AI-трафика
Шлюз AgentCore от Amazon Bedrock, полностью управляемый бессерверный AI-шлюз, теперь поддерживает ограничение скорости для AI-трафика. Эта функция обеспечивает мелкозернистый контроль над трафиком на пользователя, включая ограничения скорости запросов (RPS/RPM), ограничения токенов (TPM) и ограничения скорости соединений (CPS). Шлюз поддерживает заданные клиентом лимиты и квоты сервиса, с ключами измерений, такими как targetName, toolName, qualifiedModelId и claims идентичности для гибкой настройки.
Amazon Bedrock AgentCore — это полностью управляемый бессерверный ИИ-шлюз, обеспечивающий единую безопасную точку входа для ИИ-трафика, теперь поддерживает ограничение скорости запросов. Это позволяет детально контролировать, какой объем трафика могут потреблять отдельные пользователи через шлюз. Ограничение скорости дает контроль на уровне пользователя над использованием инструментов, моделей
Показать ещё ↓
Источник: AWS ML blog —
оригинал