LiteLLM

企业级AI Harness在Kubernetes上的参考架构：生产环境中安全部署代理的四层模型

本文提出了一种自托管企业级AI Harness在Kubernetes上的参考架构，由四个功能层组成：输入层、代理循环层、执行层以及身份、策略与审计层。该架构旨在通过定义清晰的层边界，实现对组件的模块化替换，从而解决在生产环境中部署AI代理的复杂性。它借鉴了Anthropic的模型、云原生计算基金会项目以及MCP生态系统，强调安全性、多租户和Kubernetes原生部署。

Anthropic LiteLLM