RouteLLM

마이크로소프트, AKS에서 AI 에이전트 LLM 라우팅 아키텍처 공개, 비용 최대 85% 절감

마이크로소프트가 Azure Kubernetes Service(AKS)에서 에이전트 트래픽을 라우팅하기 위한 참조 아키텍처를 공개했습니다. 이는 의미 기반 라우팅을 위한 RouteLLM, 거버넌스를 위한 agentgateway, GPU 인식 로드 밸런싱을 위한 Kubernetes Gateway API Inference Extension을 결합한 설계입니다. 이 설계는 많은 LLM 호출이 프런티어 모델을 필요로 하지 않는 에이전트 워크로드를 대상으로 하며, 잠재적으로 비용을 최대 85%까지 절감할 수 있습니다. 그러나 절감 효과는 모델 쌍 보정과 구성 요소의 성숙도에 따라 달라집니다.

Microsoft OpenAI RouteLLM