Tầng AI Gateway của Microsoft gây tranh cãi: Lo ngại về quyền hạn đằng sau quản trị thống nhất

Microsoft đã phát hành bản xem trước công khai của một tầng AI Gateway chuyên dụng cho Azure API Management. Cổng này tổ chức mặt phẳng điều khiển xung quanh các mô hình, máy chủ MCP và công cụ thay vì API, và được xây dựng như một trải nghiệm độc lập, mặc dù các tầng cổ điển và v2 vẫn giữ các tính năng AI gateway hiện có. Bản xem trước có thể xuất bản các mô hình được lưu trữ trên Foundry, bao gồm OpenAI, Anthropic và Mistral, cũng như các mô hình từ AWS Bedrock, Google Vertex AI và OpenAI trực tiếp. Tất cả các nhà cung cấp tương thích OpenAI chia sẻ một đường dẫn điểm cuối, với định tuyến dựa trên khớp chính xác trường mô hình, do đó mỗi mô hình được xuất bản cần có tên duy nhất; Anthropic được xử lý thông qua một nhà cung cấp tùy chỉnh chuyển qua API Messages. Các chính sách được cấu hình thông qua thẻ trong cổng thay vì XML và biểu thức, bao gồm giới hạn mã thông báo và yêu cầu, hạn mức, an toàn nội dung và chuyển đổi dự phòng mô hình. Dữ liệu đo từ xa được xuất dưới dạng số liệu mã thông báo OpenTelemetry tới Application Insights, Datadog, Grafana và các đích do khách hàng kiểm soát khác, và tài nguyên chạy trong chính đăng ký và đối tượng thuê Entra của khách hàng. Đối với các công cụ, cổng tập hợp các backends từ ba nguồn: máy chủ MCP từ xa kết nối qua URL, đặc tả OpenAPI hoặc các trình kết nối tích hợp bao phủ hơn một nghìn ứng dụng SaaS mà không yêu cầu máy chủ lưu trữ. Các hoạt động của mỗi backend trở thành công cụ và các nhóm có thể chọn xác thực theo từng backend: không, khóa API, OAuth 2.0 hoặc danh tính được quản lý. Mô hình vận hành dự kiến tách biệt kiểm soát trung tâm khỏi tự phục vụ của nhóm: nhóm nền tảng kết nối và xuất bản các mô hình và công cụ đã được phê duyệt, trong khi các nhóm ứng dụng sử dụng các tài sản này trong bảng điều khiển thử nghiệm mà không định tuyến mọi thay đổi qua nhóm trung tâm, mặc dù các nhóm nền tảng tiếp tục xử lý các rào cản và việc sử dụng tổng thể. Các kiến trúc sư và kỹ sư nền tảng thường phản hồi tích cực, nhưng đặt ra câu hỏi về ranh giới quản trị nằm ở đâu. Tác giả bản tin AI Engineer Paolo Perrone lưu ý rằng quản trị chi phí đặt trong gateway bị đánh giá thấp, gọi đó là 'mặt phẳng điều khiển thay vì vá theo từng ứng dụng.' Kiến trúc sư AI doanh nghiệp Adolph White Jr. đặt câu hỏi mở sắc bén nhất về điều gì xảy ra khi một lần chạy agent không kết thúc đúng cách, hỏi liệu đầu ra có được lưu giữ để kiểm toán hay liệu chuyển đổi dự phòng và thử lại có xảy ra, phân biệt quản trị lưu lượng AI với quản trị toàn bộ vòng đời. Thông báo không chỉ định liệu quyền kiểm soát đầu ra của agent thuộc về gateway hay lớp điều phối phía trên. Không phải tất cả phản hồi đều tích cực; Sreenivasulu Kandakuru từ Aer Lingus nói rằng tầng này là cần thiết khẩn cấp nhưng tin rằng Azure tụt hậu so với AWS và Databricks, trích dẫn Unity AI Gateway từ Hội nghị thượng đỉnh Data + AI tháng Sáu, mở rộng Unity Catalog để quản trị các mô hình, agent, dịch vụ MCP và kỹ năng với giới hạn chi tiêu cứng, định tuyến thông minh và các rào cản nội dung, và định tuyến các agent viết mã bên ngoài như Claude Code và Codex. Microsoft đã có các tính năng AI gateway khoảng hai năm, vì vậy khoảng cách thực tế không lớn như so sánh gợi ý. Một quyết định thiết kế đáng xem xét kỹ: khóa truy cập thời gian chạy được phạm vi cho toàn bộ gateway, cho phép truy cập vào mọi mô hình và công cụ trên gateway; Microsoft khuyến nghị một khóa cho mỗi ứng dụng, nhưng rò rỉ khóa ảnh hưởng đến toàn bộ gateway. Các nhóm dựa vào đăng ký APIM để giới hạn người dùng vào một tập hợp API sẽ không tìm thấy ranh giới đó ở đây. Bản xem trước là nỗ lực tốt nhất mà không có SLA, và API, dữ liệu từ xa, giới hạn, khu vực và giá có thể thay đổi trước khi phát hành chung. Hạn mức xem trước giới hạn mô hình, công cụ, khóa thời gian chạy và thông lượng, nhưng chi tiết cụ thể vẫn chưa được công bố; giá sẽ đến sau, làm cho quản trị chi phí trở thành phần không chắc chắn nhất. Một câu hỏi chưa được trả lời chính là sự cùng tồn tại, và sự nhầm lẫn đã rõ ràng: kỹ sư AI Rajib Mahapatro trả lời rằng họ đã sử dụng nó trong sản xuất suốt bốn tháng, đề cập đến bộ nhớ đệm, an toàn nội dung, ghi nhật ký và giới hạn mã thông báo, đó là các tính năng hiện có. Tài liệu Microsoft mô tả AI gateway như một phần mở rộng của gateway API Management hiện có, không phải là một sản phẩm độc lập, và không có hướng dẫn công khai nào giải quyết liệu các khoản đầu tư Premium hoặc Standard v2 hiện có sẽ được kế thừa, chạy song song hay di chuyển. Tầng AI Gateway có sẵn ở Đông Hoa Kỳ 2 và Thụy Điển Trung tâm, miễn phí trong thời gian xem trước, với các hướng dẫn thử nghiệm để xuất bản các mô hình Foundry được quản trị và quan sát giới hạn tốc độ mã thông báo.