माइक्रोसॉफ्ट ने AKS पर AI एजेंट LLM रूटिंग आर्किटेक्चर पेश किया, लागत में 85% तक की कटौती
माइक्रोसॉफ्ट ने Azure Kubernetes Service (AKS) पर एजेंट ट्रैफ़िक रूटिंग के लिए एक संदर्भ आर्किटेक्चर प्रकाशित किया है, जो सिमेंटिक रूटिंग के लिए RouteLLM, गवर्नेंस के लिए agentgateway, और GPU-जागरूक लोड बैलेंसिंग के लिए Kubernetes Gateway API Inference Extension को जोड़ता है। यह डिज़ाइन एजेंटिक वर्कलोड्स को लक्षित करता है, जहां कई LLM कॉलों को फ्रंटियर मॉडल की आवश्यकता नहीं होती है, जिससे लागत में 85% तक की बचत हो सकती है। हालांकि, बचत मॉडल जोड़ी कैलिब्रेशन और घटकों की परिपक्वता पर निर्भर करती है।
Microsoft
OpenAI
RouteLLM
InfoQ 中国07.08 · 11:02