RouteLLM

Microsoft apresenta arquitetura de roteamento de LLM para agentes de IA no AKS, com redução de custos de até 85%

A Microsoft publicou uma arquitetura de referência para roteamento de tráfego de agentes no Azure Kubernetes Service (AKS), combinando o RouteLLM para roteamento semântico, o agentgateway para governança e a Extensão de Inferência da API Gateway do Kubernetes para balanceamento de carga ciente de GPU. O design visa cargas de trabalho de agentes, onde muitas chamadas de LLM não exigem modelos de ponta, potencialmente economizando até 85% nos custos. No entanto, a economia depende da calibração do par de modelos e da maturidade dos componentes.

Microsoft OpenAI RouteLLM