Camada AI Gateway da Microsoft gera debate: preocupações com permissões por trás da governança unificada

A Microsoft lançou uma prévia pública de um nível dedicado de AI Gateway para o Azure API Management. Este recurso de gateway organiza seu plano de controle em torno de modelos, servidores MCP e ferramentas, em vez de APIs, e foi construído como uma experiência autônoma, embora os níveis clássico e v2 mantenham seus recursos existentes de AI gateway. A prévia pode publicar modelos hospedados no Foundry, incluindo OpenAI, Anthropic e Mistral, bem como modelos do AWS Bedrock, Google Vertex AI e OpenAI diretamente. Todos os provedores compatíveis com OpenAI compartilham um único caminho de endpoint, com roteamento baseado na correspondência exata do campo do modelo, portanto, cada modelo publicado precisa de um nome exclusivo; a Anthropic é tratada por meio de um provedor personalizado que passa pela API Messages. As políticas são configuradas por meio de cartões no portal, em vez de XML e expressões, abrangendo limites de token e solicitação, cotas, segurança de conteúdo e failover de modelo. A telemetria é exportada como métricas de token do OpenTelemetry para Application Insights, Datadog, Grafana e outros destinos controlados pelo cliente, e o recurso é executado na própria assinatura do cliente e no locatário do Entra. Para ferramentas, o gateway integra backends de três fontes: servidores MCP remotos conectados por URL, especificações OpenAPI ou conectores integrados que abrangem mais de mil aplicativos SaaS sem exigir um servidor hospedado. As operações de cada backend tornam-se ferramentas, e as equipes podem escolher a autenticação por backend: nenhuma, chave de API, OAuth 2.0 ou identidade gerenciada. O modelo operacional pretendido separa o controle central do autoatendimento da equipe: as equipes de plataforma conectam e publicam modelos e ferramentas aprovados, enquanto as equipes de aplicação usam esses ativos em um console de teste sem rotear cada mudança pela equipe central, embora as equipes de plataforma continuem a lidar com guarda-corpos e uso geral. Arquitetos e engenheiros de plataforma responderam geralmente de forma positiva, mas levantaram questões sobre onde ficam os limites de governança. O autor do boletim informativo AI Engineer, Paolo Perrone, observou que a governança de custos colocada no gateway é subestimada, chamando-a de 'plano de controle em vez de correção por aplicativo'. O arquiteto de IA empresarial Adolph White Jr. levantou a questão em aberto mais aguçada sobre o que acontece quando uma execução de agente não termina corretamente, perguntando se as saídas são retidas para auditoria ou se ocorrem failover e nova tentativa, distinguindo a governança do tráfego de IA da governança do ciclo de vida completo. O anúncio não especifica se o controle sobre as saídas do agente pertence ao gateway ou à camada de orquestração acima. Nem todos os comentários foram positivos; Sreenivasulu Kandakuru, da Aer Lingus, disse que o nível é urgentemente necessário, mas acredita que o Azure está atrás da AWS e da Databricks, citando o Unity AI Gateway da June Data + AI Summit, que estende o Unity Catalog para governar modelos, agentes, serviços MCP e habilidades com limites rígidos de gastos, roteamento inteligente e guarda-corpos de conteúdo, e roteia agentes de codificação externos como Claude Code e Codex. A Microsoft tem recursos de AI gateway há cerca de dois anos, então a lacuna real não é tão grande quanto a comparação sugere. Uma decisão de design que vale a pena examinar: as chaves de acesso em tempo de execução são limitadas a todo o gateway, dando acesso a todos os modelos e ferramentas nele; a Microsoft recomenda uma chave por aplicativo, mas o vazamento de chave afeta todo o gateway. As equipes que dependem das assinaturas do APIM para limitar os usuários a um conjunto de APIs não encontrarão esse limite aqui. A prévia é de melhor esforço, sem SLA, e APIs, telemetria, limites, regiões e preços podem mudar antes da disponibilidade geral. As cotas de prévia limitam modelos, ferramentas, chaves de tempo de execução e taxa de transferência, mas os detalhes ainda não foram publicados; os preços virão mais tarde, tornando a governança de custos a parte mais incerta. Uma questão em aberto importante é a coexistência, e a confusão já é evidente: o engenheiro de IA Rajib Mahapatro respondeu que eles o usam em produção há quatro meses, mencionando cache, segurança de conteúdo, registro em log e limites de token, que são recursos existentes. A documentação da Microsoft descreve o AI gateway como uma extensão do gateway existente do API Management, não um produto autônomo, e nenhuma orientação pública aborda se os investimentos existentes em Premium ou Standard v2 serão herdados, executados em paralelo ou migrados. O nível AI Gateway está disponível no Leste dos EUA 2 e na Suécia Central, gratuito durante a prévia, com tutoriais experimentais para publicar modelos governados do Foundry e observar limites de taxa de token.