RouteLLM

微软在AKS上发布AI智能体LLM路由架构，最高降低成本85%

微软发布了一套在Azure Kubernetes Service（AKS）上路由智能体流量的参考架构，结合了RouteLLM进行语义路由、agentgateway进行治理，以及Kubernetes Gateway API推理扩展用于GPU感知的负载均衡。该设计面向智能体工作负载，其中许多大型语言模型（LLM）调用不需要前沿模型，因此最高可节省85%的成本。然而，节省效果取决于模型对的校准以及各组件的成熟度。

Microsoft OpenAI RouteLLM