Một Mẫu Kiến Trúc Tiến Hóa để Quản Lý Tốc Độ Thay Đổi của AI

Bài viết xác định thách thức cốt lõi của AI doanh nghiệp là tốc độ thay đổi của hệ sinh thái, không phải hiệu suất mô hình, với việc đề cập đến các mô hình mới, các giao thức như MCP và A2A, và các mối đe dọa bảo mật mới. Các cổng API truyền thống thất bại vì chúng giả định tính xác định, lỗi ở lớp mẫu và các thao tác được xác định đầy đủ, trong khi các tác nhân (agent) là phi xác định và thất bại ở mức ngữ nghĩa. Một cổng AI (AI gateway) đóng vai trò như một đường nối kiến trúc, cung cấp một mặt phẳng điều khiển thống nhất cho việc định tuyến mô hình, bảo mật (bao gồm zero-trust cho các hành động của tác nhân), các rào cản nội dung, khả năng quan sát và kiểm toán, cho phép các thành phần phát triển theo tốc độ riêng của chúng. Các triển khai thực tế như kgateway, Portkey và LiteLLM đã tồn tại, và một mẫu hình 'chính sách-dưới-dạng-cấu hình' (policy-as-config) đang nổi lên. Bài viết thảo luận về các đánh đổi bao gồm độ trễ, tập trung hóa, các rào cản xác suất, chi phí vận hành và sự chậm trễ trong việc truy cập các tính năng riêng của nhà cung cấp. Nó phác thảo bốn giai đoạn tiến hóa của tổ chức: đội/nhà cung cấp đơn lẻ, mở rộng áp dụng, áp lực hợp nhất và tích hợp vào một lớp dùng chung, đồng thời lưu ý sự gia tăng các sự cố AI (362 sự cố trong năm 2025) và trích dẫn các ví dụ như tác nhân của Replit xóa cơ sở dữ liệu sản xuất và một khoản chi tiêu bất ngờ 500 triệu đô la cho Claude. Các câu hỏi mở vẫn còn về ranh giới giữa các chính sách được thực thi bởi cổng và các chính sách được thực thi bởi ứng dụng, cũng như gánh nặng vận hành khi chạy các rào cản.