Microsofts AI-gatewaylaag leidt tot discussie: zorgen over machtiging achter uniform bestuur

Microsoft heeft een openbare preview uitgebracht van een speciale AI Gateway-laag voor Azure API Management. Deze gateway-resource organiseert zijn control plane rond modellen, MCP-servers en tools in plaats van API's, en is gebouwd als een zelfstandige ervaring, hoewel de klassieke en v2-lagen hun bestaande AI-gatewayfuncties behouden. De preview kan modellen publiceren die gehost worden op Foundry, waaronder OpenAI, Anthropic en Mistral, evenals modellen van AWS Bedrock, Google Vertex AI en OpenAI rechtstreeks. Alle providers die OpenAI-compatibel zijn, delen één endpoint-pad, met routering op basis van exacte matching van het modelveld, dus elk gepubliceerd model heeft een unieke naam nodig; Anthropic wordt afgehandeld via een aangepaste provider die de Messages API doorstuurt. Beleid wordt geconfigureerd via kaarten in de portal in plaats van XML en expressies, en omvat token- en aanvraaglimieten, quota, contentveiligheid en model-failover. Telemetrie wordt geëxporteerd als OpenTelemetry-tokenmetrieken naar Application Insights, Datadog, Grafana en andere door de klant beheerde bestemmingen, en de resource draait in het eigen abonnement en de Entra-tenant van de klant. Voor tools federeert de gateway backends uit drie bronnen: externe MCP-servers die via URL zijn verbonden, OpenAPI-specificaties, of ingebouwde connectoren die meer dan duizend SaaS-toepassingen bestrijken zonder dat een gehoste server nodig is. De bewerkingen van elke backend worden tools, en teams kunnen per backend kiezen voor authenticatie: geen, API-sleutel, OAuth 2.0 of beheerde identiteit. Het beoogde operationele model scheidt centrale controle van zelfbediening voor teams: platformteams verbinden en publiceren goedgekeurde modellen en tools, terwijl applicatieteams deze assets gebruiken in een testconsole zonder elke wijziging door het centrale team te laten lopen, hoewel platformteams verantwoordelijk blijven voor guardrails en algemeen gebruik. Architecten en platform engineers hebben over het algemeen positief gereageerd, maar stelden vragen over waar de grenzen van governance liggen. Paolo Perrone, auteur van de AI Engineer-nieuwsbrief, merkte op dat kostengovernance die in de gateway is geplaatst, ondergewaardeerd wordt, en noemde het een 'control plane in plaats van per-app patching.' Enterprise AI-architect Adolph White Jr. stelde de scherpste open vraag over wat er gebeurt wanneer een agentrun niet correct wordt beëindigd, en vroeg zich af of outputs worden bewaard voor audit of dat failover en retry plaatsvinden, waarmee hij governance van AI-verkeer onderscheidt van governance van de volledige levenscyclus. De aankondiging specificeert niet of controle over agent-outputs bij de gateway of de orchestratielaag erboven ligt. Niet alle feedback was positief; Sreenivasulu Kandakuru van Aer Lingus zei dat de laag dringend nodig is, maar denkt dat Azure achterloopt op AWS en Databricks, en verwees naar Unity AI Gateway van de June Data + AI Summit, die Unity Catalog uitbreidt om modellen, agents, MCP-services en vaardigheden te beheren met harde spend-caps, slimme routering en content-guardrails, en externe codeer-agents zoals Claude Code en Codex routeert. Microsoft heeft al ongeveer twee jaar AI-gatewayfuncties, dus de werkelijke kloof is niet zo groot als de vergelijking suggereert. Een ontwerpbeslissing die het waard is om te onderzoeken: runtime-toegangssleutels zijn beperkt tot de hele gateway, wat toegang geeft tot elk model en elke tool erop; Microsoft raadt één sleutel per app aan, maar sleutellekkage treft de hele gateway. Teams die vertrouwen op APIM-abonnementen om gebruikers te beperken tot een reeks API's, zullen die grens hier niet vinden. De preview is 'best-effort' zonder SLA, en API's, telemetrie, limieten, regio's en prijzen kunnen wijzigen vóór algemene beschikbaarheid. Preview-quota beperken modellen, tools, runtime-sleutels en doorvoer, maar details zijn nog niet gepubliceerd; prijzen komen later, waardoor kostengovernance het meest onzekere onderdeel is. Een belangrijke onbeantwoorde vraag is co-existentie, en verwarring is al duidelijk: AI-engineer Rajib Mahapatro reageerde dat ze het al vier maanden in productie gebruiken, en noemde caching, contentveiligheid, logging en tokenlimieten, wat bestaande functies zijn. Microsoft-documentatie beschrijft de AI-gateway als een uitbreiding van de bestaande API Management-gateway, niet als een zelfstandig product, en er is geen openbare richtlijn die ingaat op de vraag of bestaande Premium- of Standard v2-investeringen worden overgenomen, parallel draaien of migreren. De AI Gateway-laag is beschikbaar in East US 2 en Sweden Central, gratis tijdens de preview, met experimentele tutorials voor het publiceren van beheerde Foundry-modellen en het observeren van tokenlimieten.