Microsoft Luncurkan Arsitektur Routing Agen AI di AKS, Mengurangi Biaya hingga 85%

Microsoft telah menerbitkan arsitektur referensi untuk merutekan lalu lintas agen di Azure Kubernetes Service (AKS), menguraikan masalah ini menjadi tiga pilihan utama: model mana yang merespons panggilan, bagaimana panggilan dikelola, dan replika GPU mana yang menanganinya. Desain ini menggabungkan Kubernetes Gateway API Inference Extension untuk penyeimbangan beban, agentgateway sebagai proksi AI, dan RouteLLM untuk perutean semantik, semuanya terhubung ke endpoint yang kompatibel dengan OpenAI. Ini dirancang untuk beban kerja agentik, bukan sekadar obrolan sederhana, karena satu tugas agen dapat memicu ratusan panggilan LLM dalam loop perencanaan-aksi-pengamatan, yang sebagian besar (mengisi argumen alat, keputusan ya/tidak, ringkasan) tidak memerlukan model frontier. RouteLLM memeriksa prompt dan memprediksi apakah model yang lebih murah dapat menyamai kualitas model yang lebih kuat, menggunakan router faktorisasi matriks yang dilatih pada data preferensi manusia. Agentgateway, proksi sumber terbuka yang kompatibel dengan OpenAI, mengelola autentikasi, batas kecepatan per agen, pelacakan biaya, dan pengaman tanpa memeriksa konten prompt. Endpoint Picker dari Gateway API Inference Extension memeriksa status GPU secara real-time, termasuk penggunaan cache KV vLLM dan kedalaman antrean, untuk memutuskan replika mana dari model yang dipilih yang menangani permintaan. Untuk jalur yang dihosting sendiri, agentgateway memanggil Endpoint Picker melalui ext-proc, melewati gateway Gateway API terpisah. KAITO menyediakan kumpulan node GPU sesuai permintaan dan menjalankan vLLM, mengekspos metrik seperti vllm:num_requests_waiting dan vllm:kv_cache_usage_perc. Jalur model kuat melalui backend AI agentgateway ke Azure OpenAI, sementara jalur model lemah dirutekan melalui backend layanan ke pod yang dilayani KAITO. Prometheus dan Grafana terkelola Azure mengumpulkan metrik perutean, biaya, dan GPU untuk tampilan terpadu. Angka kuncinya adalah ambang peningkatan RouteLLM: pada pasangan model yang diuji, router mf mencapai sekitar 95% kualitas GPT-4 di MT-Bench sambil mengirim hanya sekitar 26% panggilan ke GPT-4, menghemat hingga 85% biaya. Microsoft memperingatkan bahwa angka ini tidak otomatis dan bergantung pada pasangan model yang digunakan untuk melatih RouteLLM; pengguna harus mengkalibrasi ambang batas berdasarkan lalu lintas aktual. Caching prompt memperumit biaya token, karena cache hit mendapatkan diskon, dan mengganti model mendinginkan cache di kedua sisi. Artikel ini memperingatkan bahwa komponen-komponennya masih muda; bidang berubah antar versi—Inference Extension mengganti nama dan merestrukturisasi CRD sebelum v1. Semua diverifikasi end-to-end pada pertengahan 2026 di AKS dengan Inference Extension v1.0.0 dan agentgateway v1.3.1. Tim dapat mengadopsi arsitektur secara bertahap: untuk model terkelola dengan sedikit agen, tata kelola agentgateway sudah cukup; untuk model tunggal yang dihosting sendiri, KAITO dan Inference Extension sudah cukup tanpa perutean semantik; RouteLLM layak digunakan ketika ada kesenjangan harga yang jelas antara model kuat dan lemah dan lalu lintas sederhana yang cukup besar, yang berlaku untuk hampir semua agen yang melakukan loop.