RouteLLM

マイクロソフト、AKS上でのAIエージェントLLMルーティングアーキテクチャを発表、コストを最大85%削減

マイクロソフトは、Azure Kubernetes Service（AKS）上でエージェントトラフィックをルーティングするためのリファレンスアーキテクチャを公開しました。これは、セマンティックルーティングのためのRouteLLM、ガバナンスのためのagentgateway、そしてGPU対応のロードバランシングのためのKubernetes Gateway API Inference Extensionを組み合わせたものです。この設計は、エージェント型ワークロードを対象としており、多くのLLM呼び出しがフロンティアモデルを必要としないため、コストを最大85%削減できる可能性があります。ただし、削減効果はモデルペアのキャリブレーションとコンポーネントの成熟度に依存します。

Microsoft OpenAI RouteLLM