Tingkat AI Gateway Microsoft Memicu Perdebatan: Kekhawatiran Izin di Balik Tata Kelola Terpadu

Microsoft telah merilis pratinjau publik untuk tier Gateway AI khusus di Azure API Management. Sumber daya gateway ini mengatur bidang kontrolnya seputar model, server MCP, dan alat, bukan API, dan dibangun sebagai pengalaman mandiri, meskipun tier klasik dan v2 mempertahankan fitur gateway AI yang sudah ada. Pratinjau ini dapat memublikasikan model yang dihosting di Foundry, termasuk OpenAI, Anthropic, dan Mistral, serta model dari AWS Bedrock, Google Vertex AI, dan OpenAI secara langsung. Semua penyedia yang kompatibel dengan OpenAI berbagi satu jalur titik akhir, dengan perutean berdasarkan pencocokan persis bidang model, sehingga setiap model yang dipublikasikan memerlukan nama yang unik; Anthropic ditangani melalui penyedia kustom yang meneruskan API Messages. Kebijakan dikonfigurasi melalui kartu di portal daripada XML dan ekspresi, mencakup batas token dan permintaan, kuota, keamanan konten, dan failover model. Telemetri diekspor sebagai metrik token OpenTelemetry ke Application Insights, Datadog, Grafana, dan tujuan lain yang dikendalikan pelanggan, dan sumber daya berjalan di langganan pelanggan sendiri serta penyewa Entra. Untuk alat, gateway menggabungkan backend dari tiga sumber: server MCP jarak jauh yang terhubung melalui URL, spesifikasi OpenAPI, atau konektor bawaan yang mencakup lebih dari seribu aplikasi SaaS tanpa memerlukan server yang dihosting. Operasi setiap backend menjadi alat, dan tim dapat memilih autentikasi per backend: tanpa autentikasi, kunci API, OAuth 2.0, atau identitas terkelola. Model operasi yang dimaksudkan memisahkan kontrol terpusat dari layanan mandiri tim: tim platform menghubungkan dan memublikasikan model serta alat yang disetujui, sementara tim aplikasi menggunakan aset ini di konsol uji tanpa merutekan setiap perubahan melalui tim pusat, meskipun tim platform terus menangani pengamanan dan penggunaan keseluruhan. Arsitek dan insinyur platform umumnya merespons positif, tetapi mengajukan pertanyaan tentang di mana batas tata kelola berada. Penulis buletin AI Engineer Paolo Perrone mencatat bahwa tata kelola biaya yang ditempatkan di gateway kurang dihargai, menyebutnya sebagai 'bidang kontrol alih-alih penambalan per aplikasi.' Arsitek AI perusahaan Adolph White Jr. mengajukan pertanyaan terbuka paling tajam tentang apa yang terjadi ketika proses agen tidak berakhir dengan benar, menanyakan apakah keluaran dipertahankan untuk audit atau apakah failover dan percobaan ulang terjadi, membedakan tata kelola lalu lintas AI dari tata kelola siklus hidup penuh. Pengumuman tersebut tidak menentukan apakah kontrol atas keluaran agen menjadi milik gateway atau lapisan orkestrasi di atasnya. Tidak semua umpan balik positif; Sreenivasulu Kandakuru dari Aer Lingus mengatakan bahwa tier ini sangat dibutuhkan tetapi percaya Azure tertinggal dari AWS dan Databricks, mengutip Unity AI Gateway dari Juni Data + AI Summit, yang memperluas Unity Catalog untuk mengatur model, agen, layanan MCP, dan keterampilan dengan batas pengeluaran ketat, perutean cerdas, dan pengaman konten, serta merutekan agen pengodean eksternal seperti Claude Code dan Codex. Microsoft telah memiliki fitur gateway AI selama sekitar dua tahun, jadi kesenjangan sebenarnya tidak sebesar yang disarankan perbandingan tersebut. Keputusan desain yang perlu diteliti: kunci akses runtime dicakup ke seluruh gateway, memberikan akses ke setiap model dan alat di dalamnya; Microsoft merekomendasikan satu kunci per aplikasi, tetapi kebocoran kunci mempengaruhi seluruh gateway. Tim yang mengandalkan langganan APIM untuk membatasi pengguna ke satu set API tidak akan menemukan batas itu di sini. Pratinjau ini bersifat upaya terbaik tanpa SLA, dan API, telemetri, batas, wilayah, dan harga dapat berubah sebelum ketersediaan umum. Kuota pratinjau membatasi model, alat, kunci runtime, dan throughput, tetapi detailnya belum dipublikasikan; harga akan datang kemudian, menjadikan tata kelola biaya sebagai bagian yang paling tidak pasti. Pertanyaan kunci yang belum terjawab adalah koeksistensi, dan kebingungan sudah terlihat: insinyur AI Rajib Mahapatro merespons bahwa mereka telah menggunakannya di produksi selama empat bulan, menyebutkan caching, keamanan konten, pencatatan, dan batas token, yang merupakan fitur yang sudah ada. Dokumentasi Microsoft menggambarkan gateway AI sebagai perpanjangan dari gateway API Management yang ada, bukan produk mandiri, dan tidak ada panduan publik yang membahas apakah investasi Premium atau Standard v2 yang ada akan diwarisi, berjalan paralel, atau dimigrasi. Tier Gateway AI tersedia di East US 2 dan Swedia Tengah, gratis selama pratinjau, dengan tutorial eksperimental untuk memublikasikan model Foundry yang diatur dan mengamati batas laju token.