Gateway AgentCore Amazon Bedrock Kini Mendukung Pembatasan Laju untuk Lalu Lintas AI

Gerbang Agen Core Amazon Bedrock, sebuah gerbang AI serverless yang dikelola penuh dan menyediakan titik masuk tunggal yang aman untuk lalu lintas AI, kini mendukung pembatasan kecepatan (rate limiting). Ini memungkinkan kontrol yang terperinci atas seberapa banyak lalu lintas yang dapat dikonsumsi oleh pengguna individual melalui gerbang tersebut. Pembatasan kecepatan memberikan kontrol per pengguna atas penggunaan alat, model inferensi, dan agen, dengan aturan berbasis OAuth atau IAM untuk permintaan per menit, koneksi bersamaan, dan throughput token. Gerbang ini mendukung tiga jenis target: target MCP, target inferensi, dan target passthrough HTTP. Metrik pembatasan kecepatan yang didukung meliputi batas kecepatan permintaan (RPS/RPM) untuk semua target, batas kecepatan token (TPM) untuk target inferensi, dan batas kecepatan koneksi (CPS) untuk semua target. Kunci dimensi mendefinisikan bagaimana lalu lintas dikelompokkan ke dalam ember kecepatan, termasuk targetName, toolName, qualifiedModelId, dan klaim identitas seperti klaim JWT dan prinsipal IAM. Entri menentukan throughput yang diizinkan per ember, dengan dukungan wildcard. Dua lapisan pembatasan kecepatan diberlakukan: batas yang ditentukan pelanggan dan kuota layanan. Batas yang ditentukan pelanggan mencakup batas tingkat pengguna, tingkat target, dan batas tingkat target-pengguna hibrida. Contoh konfigurasi menunjukkan batas per grup dan per pengguna untuk grup pengguna Basic, Advanced, dan Beta, dengan model terbatas untuk pengguna Beta.