AWS, AgentCore 게이트웨이에 AI 트래픽 속도 제한 기능 도입

Amazon Web Services(AWS)가 AgentCore 게이트웨이에서 AI 트래픽에 대한 속도 제한을 구성하는 기능을 발표했습니다. 이 기능은 조직이 AI 모델에 전송되는 요청의 양을 관리하여 과부하를 방지하고 비용을 통제할 수 있도록 설계되었습니다. AgentCore 게이트웨이는 AI 모델 호출의 중앙 집중식 진입점 역할을 하며, 새로운 속도 제한 기능은 AI 트래픽에 대한 세밀한 제어를 가능하게 합니다. 관리자는 클라이언트 또는 API별로 최대 요청 속도를 정의하는 정책을 설정하여 공정한 사용과 시스템 안정성을 보장할 수 있습니다. 이는 여러 AI 애플리케이션을 배포하고 리소스를 효율적으로 할당해야 하는 기업에 특히 유용합니다. 이 기능은 AI 워크로드를 위한 강력한 인프라를 제공하려는 AWS의 광범위한 AI 전략의 일부입니다.