RouteLLM

مايكروسوفت تكشف عن بنية توجيه وكلاء الذكاء الاصطناعي على AKS، مما يخفض التكاليف بنسبة تصل إلى 85%

نشرت مايكروسوفت بنية مرجعية لتوجيه حركة الوكلاء على خدمة Azure Kubernetes (AKS)، تجمع بين RouteLLM للتوجيه الدلالي، وagentgateway للإدارة، وKubernetes Gateway API Inference Extension لموازنة الحمل الواعي بوحدات معالجة الرسوميات. يستهدف التصميم أعباء العمل الوكيلة، حيث لا تتطلب العديد من استدعاءات نماذج اللغة الكبيرة نماذج متطورة، مما قد يوفر ما يصل إلى 85% من التكاليف. ومع ذلك، تعتمد التوفيرات على معايرة أزواج النماذج ونضج المكونات.

Microsoft OpenAI RouteLLM