AgentCore Ağ Geçidi Artık Yapay Zeka Trafiği için Hız Sınırlamasını Destekliyor

Amazon Bedrock AgentCore ağ geçidi, yapay zeka trafiği için tek ve güvenli bir giriş noktası sağlayan, tamamen yönetilen ve sunucusuz bir yapay zeka ağ geçididir; artık hız sınırlamayı desteklemektedir. Bu, bireysel kullanıcıların ağ geçidi üzerinden tüketebileceği trafik miktarı üzerinde ince ayarlı kontrol sağlar. Hız sınırlama, araçlar, çıkarım modelleri ve aracıların kullanımı üzerinde kullanıcı başına kontrol sağlar; OAuth veya IAM tabanlı kurallarla dakikada istek, eşzamanlı bağlantı ve belirteç işleme kapasitesi belirlenir. Ağ geçidi üç hedef türünü destekler: MCP hedefleri, çıkarım hedefleri ve HTTP geçiş hedefleri. Desteklenen hız sınırı metrikleri, tüm hedefler için istek hızı sınırlarını (saniyede istek/dakikada istek), çıkarım hedefleri için belirteç hızı sınırlarını (dakikada belirteç) ve tüm hedefler için bağlantı hızı sınırlarını (saniyede bağlantı) içerir. Boyut anahtarları, trafiğin hız kovalarına nasıl gruplandığını tanımlar; targetName, toolName, qualifiedModelId ve JWT talepleri ve IAM asalları gibi kimlik taleplerini içerir. Girişler, kova başına izin verilen işleme kapasitesini belirtir ve joker karakter destekler. İki katman hız sınırlama uygulanır: müşteri tanımlı sınırlar ve hizmet kotaları. Müşteri tanımlı sınırlar, kullanıcı düzeyi, hedef düzeyi ve hibrit hedef-kullanıcı düzeyi sınırları içerir. Örnek bir yapılandırma, Temel, Gelişmiş ve Beta kullanıcı grupları için grup başına ve kullanıcı başına sınırları gösterir ve Beta kullanıcıları için kısıtlı modeller içerir.