Kiến trúc tham chiếu cho Enterprise AI Harness trên Kubernetes: Bốn lớp triển khai tác tử an toàn trong sản xuất
Anthropic
LiteLLM
Bài báo đề xuất một kiến trúc tham chiếu cho Enterprise AI Harness tự triển khai trên Kubernetes, bao gồm bốn lớp chức năng: Đầu vào, Vòng lặp tác tử, Thực thi, và Nhận dạng, Chính sách & Kiểm toán. Mục đích là giải quyết sự phức tạp của việc triển khai các tác tử AI trong sản xuất bằng cách xác định ranh giới rõ ràng giữa các lớp, cho phép thay thế các thành phần một cách mô-đun. Kiến trúc này kế thừa từ mô hình của Anthropic, các dự án thuộc CNCF và hệ sinh thái MCP, nhấn mạnh vào bảo mật, đa nhiệm (multi-tenancy) và triển khai gốc Kubernetes.
Bài báo trình bày một kiến trúc tham chiếu để xây dựng một 'Enterprise AI Harness' tự lưu trữ trên Kubernetes, được cấu trúc thành bốn lớp: Đầu vào (Input), Vòng lặp tác nhân (Agent Loop), Thực thi (Execution), và Nhận dạng - Chính sách - Kiểm toán (Identity, Policy & Audit). Lớp Đầu vào phân tách lưu lượng người dùng, tác nhân và sự kiện bằng các công cụ như Traefik và webhook n8n. Lớp Vòng lặp tác nhân (ReAct) quản lý các phiên tác nhân có trạng thái với bộ nhớ, ủy quyền và có sự tham gia của con người (human-in-the-loop, HITL) sử dụng các thành phần như kagent và LangGraph. Lớp Thực thi kiểm soát quyền truy cập vào các tài nguyên bên ngoài (công cụ MCP, quy trình làm việc, LLM) thông qua FastMCP, n8n và LiteLLM. Lớp Nhận dạng - Chính sách - Kiểm toán cung cấp các chức năng xác thực, phân quyền và kiểm toán xuyên suốt thông qua Keycloak, agentgateway, Vault/OpenBao và OTEL/Grafana. Kiến trúc này nhấn mạnh các ranh giới bảo mật, đa người thuê (multi-tenancy, qua RLS, namespace, network policy) và bối cảnh triển khai (Kubernetes, Helm, NetworkPolicy). Kỹ năng (skills) được triển khai dưới dạng tiêm khả năng trong pod (container image OCI với SKILL.md), trong khi các công cụ (tools) có thể truy cập qua mạng. Bài báo minh họa quy trình làm việc với một ví dụ về tác vụ kỹ thuật, cho thấy danh tính người dùng chảy từ Đầu vào qua agentgateway đến Thực thi, với các dấu vết kiểm toán xuyên suốt. Tác giả lưu ý rằng đây là một mô hình tham chiếu đang hoạt động, không phải sản phẩm thương mại, và mời thảo luận về các lớp thiết yếu.
Nguồn: Habr — хаб NLP —
bản gốc
