RouteLLM

Microsoft dévoile une architecture de routage LLM pour agents sur AKS, réduisant les coûts jusqu'à 85 %

Microsoft a publié une architecture de référence pour router le trafic des agents sur Azure Kubernetes Service (AKS), combinant RouteLLM pour le routage sémantique, agentgateway pour la gouvernance, et l'extension Kubernetes Gateway API Inference pour l'équilibrage de charge tenant compte des GPU. La conception cible les charges de travail agentiques, où de nombreux appels LLM ne nécessitent pas de modèles de pointe, permettant potentiellement d'économiser jusqu'à 85 % sur les coûts. Cependant, les économies dépendent de l'étalonnage des paires de modèles et de la maturité des composants.

Microsoft OpenAI RouteLLM