iFlytek Launches Spark Token Factory: Platform for Intelligent Routing and Management of Enterprise AI Models
科大讯飞
Chinese company iFlytek introduced Spark Token Factory on July 19, an enterprise platform for unified access, intelligent routing, and cost optimization of large language models. The solution includes a security system with role-based access control, auditing, and sensitive data protection, and boosts local inference efficiency on Ascend hardware up to 5 times compared to vLLM-Ascend.
कंपनी iFlytek (科大讯飞) ने 19 जुलाई को आधिकारिक तौर पर स्पार्क टोकन फैक्ट्री (星火Token Factory) लॉन्च किया, जो बड़े भाषा मॉडलों के प्रबंधन के लिए एक कॉर्पोरेट समाधान है। यह प्लेटफ़ॉर्म व्यावसायिक अनुप्रयोगों और मॉडलों के बीच एक एकीकृत मध्यवर्ती स्तर (मिडलवेयर) के रूप में कार्य करता है, जो एकीकृत कनेक्शन, बुद्धिमान रूटिंग, टोकन लागत अनुकूलन और सुरक्षा अनुपालन की क्षमताएँ प्रदान करता है। इसका प्रमुख घटक बुद्धिमान रूटिंग है, जो प्रॉम्प्ट की लंबाई, पूर्व-निर्धारित और उपयोगकर्ता-निर्धारित नियमों, संवाद सत्रों की संख्या जैसे मापदंडों के आधार पर कार्य की जटिलता का आकलन करता है और सरल अनुरोधों को सस्ते मॉडलों पर तथा जटिल अनुरोधों को अधिक शक्तिशाली मॉडलों पर भेजता है, जिसमें निर्णय लेने में औसत विलंबता 100 मिलीसेकंड से कम होती है। Ascend हार्डवेयर पर स्थानीय इनफरेंस के लिए, प्लेटफ़ॉर्म निम्न-स्तरीय ऑपरेटरों से लेकर उच्च-स्तरीय शेड्यूलिंग तक एंड-टू-एंड ऑप्टिमाइज़ेशन करता है, जिसमें मॉडल संपीड़न, समानांतर डिकोडिंग और वितरित KV-कैश प्रबंधन शामिल है। ओपन मॉडलों के परीक्षणों में, स्पार्क टोकन फैक्ट्री ने vLLM-Ascend फ्रेमवर्क की तुलना में इनफरेंस दक्षता में लगभग 5 गुना सुधार दिखाया, और पहले टोकन की विलंबता में 30-40% की कमी आई। सुरक्षा के संदर्भ में, त्रि-स्तरीय शक्ति पृथक्करण (triple separation of powers) का सिद्धांत लागू किया गया है, ऑडिट लॉग, संवेदनशील डेटा (व्यक्तिगत डेटा, वित्तीय जानकारी, आदि) की सुरक्षा और डोमेन से बाहर लीक न होने वाली रूटिंग शामिल है। प्लेटफ़ॉर्म संचालन की पारदर्शिता के लिए एंड-टू-एंड अनुरोध लॉगिंग और लागत विश्लेषण भी प्रदान करता है। स्पार्क टोकन फैक्ट्री iFlytek के कॉर्पोरेट AI टूल्स इकोसिस्टम का पूरक है और इसका उद्देश्य कंपनियों को मॉडलों के पॉइंट-टू-पॉइंट उपयोग से स्केलेबल ऑपरेशनल मॉडल में स्थानांतरित करने में मदद करना है।
स्रोत: QbitAI 量子位 —
मूल