RouteLLM

Microsoft presenta una arquitectura de enrutamiento de agentes de IA en AKS que reduce los costos hasta en un 85%

Microsoft ha publicado una arquitectura de referencia para enrutar el tráfico de agentes en Azure Kubernetes Service (AKS), que combina RouteLLM para el enrutamiento semántico, agentgateway para la gobernanza y la extensión de inferencia de la API de Kubernetes Gateway para el equilibrio de carga consciente de la GPU. El diseño apunta a cargas de trabajo de agentes, donde muchas llamadas de LLM no requieren modelos de vanguardia, lo que potencialmente ahorra hasta un 85% en costos. Sin embargo, el ahorro depende de la calibración del par de modelos y la madurez de los componentes.

Microsoft OpenAI RouteLLM