마이크로소프트의 AI 게이트웨이 계층 논쟁: 통합 거버넌스 뒤에 숨은 권한 문제

Microsoft는 Azure API Management를 위한 전용 AI 게이트웨이 티어의 공개 미리 보기를 출시했습니다. 이 게이트웨이 리소스는 API가 아닌 모델, MCP 서버, 도구를 중심으로 제어 평면을 구성하며, 독립형 환경으로 구축되었지만, 클래식 및 v2 티어는 기존의 AI 게이트웨이 기능을 유지합니다. 미리 보기에서는 Foundry에서 호스팅되는 모델(OpenAI, Anthropic, Mistral 포함)과 AWS Bedrock, Google Vertex AI, OpenAI의 모델을 직접 게시할 수 있습니다. 모든 OpenAI 호환 공급자는 하나의 엔드포인트 경로를 공유하며, 정확한 모델 필드 일치를 기반으로 라우팅되므로 게시된 각 모델은 고유한 이름을 가져야 합니다. Anthropic은 Messages API를 통과하는 사용자 지정 공급자를 통해 처리됩니다. 정책은 XML이나 표현식 대신 포털의 카드를 통해 구성되며, 토큰 및 요청 제한, 할당량, 콘텐츠 안전, 모델 장애 조치를 포함합니다. 원격 측정은 OpenTelemetry 토큰 메트릭으로 내보내져 Application Insights, Datadog, Grafana 및 기타 고객 제어 대상으로 전송되며, 리소스는 고객의 자체 구독 및 Entra 테넌트에서 실행됩니다. 도구의 경우, 게이트웨이는 세 가지 소스의 백엔드를 통합합니다: URL로 연결된 원격 MCP 서버, OpenAPI 사양, 또는 호스팅 서버 없이 천 개 이상의 SaaS 애플리케이션을 포함하는 기본 제공 커넥터. 각 백엔드의 작업은 도구가 되며, 팀은 백엔드별 인증(없음, API 키, OAuth 2.0, 관리 ID)을 선택할 수 있습니다. 의도된 운영 모델은 중앙 제어와 팀 셀프 서비스를 분리합니다: 플랫폼 팀은 승인된 모델과 도구를 연결하고 게시하며, 애플리케이션 팀은 중앙 팀을 통해 모든 변경을 라우팅하지 않고 테스트 콘솔에서 이러한 자산을 사용하지만, 플랫폼 팀은 가드레일과 전체 사용량을 계속 처리합니다. 아키텍트와 플랫폼 엔지니어는 일반적으로 긍정적으로 반응했지만 거버넌스 경계가 어디에 있는지에 대한 질문을 제기했습니다. AI 엔지니어 뉴스레터 작성자 Paolo Perrone은 게이트웨이에 배치된 비용 거버넌스가 과소평가되었다고 언급하며 이를 '앱별 패치 대신 제어 평면'이라고 불렀습니다. 엔터프라이즈 AI 아키텍트 Adolph White Jr.는 에이전트 실행이 제대로 종료되지 않을 때 어떻게 되는지, 출력이 감사용으로 유지되는지, 장애 조치 및 재시도가 발생하는지에 대해 가장 날카로운 공개 질문을 제기했으며, AI 트래픽 거버넌스와 전체 수명 주기 거버넌스를 구분했습니다. 발표에서는 에이전트 출력에 대한 제어가 게이트웨이에 속하는지 오케스트레이션 계층에 속하는지 명시하지 않았습니다. 모든 피드백이 긍정적이었던 것은 아닙니다. Aer Lingus의 Sreenivasulu Kandakuru는 이 티어가 시급히 필요하지만 Azure가 AWS와 Databricks에 뒤처져 있다고 생각하며, 6월 Data + AI Summit의 Unity AI Gateway를 인용했습니다. Unity AI Gateway는 Unity Catalog를 확장하여 하드 지출 상한, 스마트 라우팅, 콘텐츠 가드레일을 통해 모델, 에이전트, MCP 서비스, 스킬을 관리하고, Claude Code 및 Codex와 같은 외부 코딩 에이전트를 라우팅합니다. Microsoft는 약 2년 동안 AI 게이트웨이 기능을 가지고 있었으므로 실제 격차는 비교가 시사하는 것만큼 크지 않습니다. 주목할 만한 설계 결정: 런타임 액세스 키는 게이트웨이 전체에 범위가 지정되어 게이트웨이의 모든 모델과 도구에 대한 액세스를 제공합니다. Microsoft는 앱당 하나의 키를 권장하지만, 키 유출은 게이트웨이 전체에 영향을 미칩니다. APIM 구독을 사용하여 사용자를 API 집합으로 제한하는 팀은 이 경계를 찾을 수 없습니다. 미리 보기는 SLA가 없는 최선의 노력이며, API, 원격 측정, 제한, 지역 및 가격은 일반 공급 전에 변경될 수 있습니다. 미리 보기 할당량은 모델, 도구, 런타임 키 및 처리량을 제한하지만 구체적인 내용은 아직 게시되지 않았습니다. 가격은 나중에 발표될 예정이므로 비용 거버넌스가 가장 불확실한 부분입니다. 핵심 미해결 질문은 공존이며, 이미 혼란이 나타나고 있습니다: AI 엔지니어 Rajib Mahapatro는 4개월 동안 프로덕션에서 사용했다고 응답하면서 캐싱, 콘텐츠 안전, 로깅, 토큰 제한을 언급했는데, 이는 기존 기능입니다. Microsoft 문서는 AI 게이트웨이를 기존 API Management 게이트웨이의 확장으로 설명하며 독립형 제품이 아니며, 기존 Premium 또는 Standard v2 투자가 상속될지, 병렬로 실행될지, 마이그레이션될지에 대한 공개 지침은 없습니다. AI 게이트웨이 티어는 East US 2 및 Sweden Central에서 사용할 수 있으며 미리 보기 기간 동안 무료이며, 거버넌스된 Foundry 모델 게시 및 토큰 속도 제한 관찰에 대한 실험적 튜토리얼이 있습니다.