RouteLLM

Microsoft, AKS Üzerinde Yapay Zeka Ajanı LLM Yönlendirme Mimarisi Tanıttı: Maliyetleri Yüzde 85'e Kadar Düşürüyor

Microsoft, Azure Kubernetes Service (AKS) üzerinde ajan trafiğini yönlendirmek için referans bir mimari yayınladı. Bu mimari, semantik yönlendirme için RouteLLM'ü, yönetişim için agentgateway'i ve GPU farkındalıklı yük dengeleme için Kubernetes Gateway API Inference Extension'ı birleştiriyor. Tasarım, birçok LLM çağrısının öncü modeller gerektirmediği ajan tabanlı iş yüklerini hedefliyor ve potansiyel olarak maliyetlerde yüzde 85'e varan tasarruf sağlıyor. Ancak tasarruflar, model çifti kalibrasyonuna ve bileşenlerin olgunluğuna bağlı.

Microsoft OpenAI RouteLLM