AgentCore गेटवे अब एआई ट्रैफिक के लिए रेट लिमिटिंग का समर्थन करता है

Amazon Bedrock AgentCore गेटवे, एक पूर्णतः प्रबंधित, सर्वररहित AI गेटवे है जो AI ट्रैफिक के लिए एक सुरक्षित प्रवेश बिंदु प्रदान करता है, अब दर सीमा (रेट लिमिटिंग) का समर्थन करता है। यह गेटवे के माध्यम से व्यक्तिगत उपयोगकर्ताओं द्वारा खपत किए जाने वाले ट्रैफिक की मात्रा पर सूक्ष्म नियंत्रण की अनुमति देता है। दर सीमा उपयोगकर्ता-स्तर पर टूल, इन्फरेंस मॉडल और एजेंटों के उपयोग पर नियंत्रण देती है, जिसमें प्रति मिनट अनुरोध, समवर्ती कनेक्शन और टोकन थ्रूपुट के लिए OAuth या IAM-आधारित नियम शामिल हैं। गेटवे तीन प्रकार के लक्ष्यों का समर्थन करता है: MCP लक्ष्य, इन्फरेंस लक्ष्य, और HTTP पास-थ्रू लक्ष्य। समर्थित दर सीमा मीट्रिक्स में सभी लक्ष्यों के लिए अनुरोध दर सीमाएं (RPS/RPM), इन्फरेंस लक्ष्यों के लिए टोकन दर सीमाएं (TPM), और सभी लक्ष्यों के लिए कनेक्शन दर सीमाएं (CPS) शामिल हैं। आयाम कुंजियाँ परिभाषित करती हैं कि ट्रैफिक को दर बकेट (रेट बकेट) में कैसे समूहीकृत किया जाता है, जिसमें targetName, toolName, qualifiedModelId, और JWT दावे और IAM प्रिंसिपल जैसे पहचान दावे शामिल हैं। प्रविष्टियाँ प्रति बकेट स्वीकार्य थ्रूपुट निर्दिष्ट करती हैं, जिसमें वाइल्डकार्ड समर्थन होता है। दर सीमा की दो परतें लागू की जाती हैं: ग्राहक-परिभाषित सीमाएँ और सेवा कोटा। ग्राहक-परिभाषित सीमाओं में उपयोगकर्ता-स्तरीय, लक्ष्य-स्तरीय और हाइब्रिड लक्ष्य-उपयोगकर्ता स्तरीय सीमाएँ शामिल हैं। एक उदाहरण कॉन्फ़िगरेशन बेसिक, एडवांस्ड और बीटा उपयोगकर्ता समूहों के लिए प्रति-समूह और प्रति-उपयोगकर्ता सीमाएँ दिखाता है, जिसमें बीटा उपयोगकर्ताओं के लिए प्रतिबंधित मॉडल शामिल हैं।