RouteLLM

Microsoft представляет архитектуру маршрутизации LLM для ИИ-агентов на AKS, снижая затраты до 85%

Microsoft опубликовала эталонную архитектуру для маршрутизации трафика агентов на Azure Kubernetes Service (AKS), объединяющую RouteLLM для семантической маршрутизации, agentgateway для управления и расширение Kubernetes Gateway API Inference для балансировки нагрузки с учётом GPU. Дизайн ориентирован на агентные рабочие нагрузки, где многие вызовы LLM не требуют frontier-моделей, что потенциально экономит до 85% затрат. Однако экономия зависит от калибровки пар моделей и зрелости компонентов.