AWS introduit la limitation de débit pour le trafic IA sur la passerelle AgentCore

Amazon Web Services (AWS) a annoncé une fonctionnalité permettant de configurer des limites de débit pour le trafic d'IA sur sa passerelle AgentCore. Cette capacité est conçue pour aider les organisations à gérer le volume de requêtes envoyées aux modèles d'IA, évitant ainsi les surcharges et maîtrisant les coûts. La passerelle AgentCore agit comme un point d'entrée centralisé pour les invocations de modèles d'IA, et la nouvelle fonctionnalité de limitation de débit permet un contrôle fin du trafic d'IA. Les administrateurs peuvent définir des politiques pour fixer des taux de requêtes maximales par client ou par interface de programmation d'application (API), garantissant une utilisation équitable et la stabilité du système. Cela est particulièrement utile pour les entreprises qui déploient plusieurs applications d'IA et doivent allouer efficacement les ressources. Cette fonctionnalité fait partie de la stratégie plus large d'AWS visant à fournir une infrastructure robuste pour les charges de travail d'IA.