Multiverse Computing: CompactifAI nearly doubles Llama 3.3 performance on Intel Xeon 6
Multiverse Computing
Meta
Intel Corporation
Multiverse Computing announced that its CompactifAI technology can nearly double the performance of the Llama 3.3 model when running on Intel Xeon 6 processors. The solution uses neural network compression techniques to accelerate inference without significant loss of accuracy.
मल्टीवर्स कम्प्यूटिंग ने घोषणा की है कि उसकी न्यूरल नेटवर्क कम्प्रेशन तकनीक CompactifAI, इंटेल ज़ीऑन 6 सर्वर प्रोसेसर पर बड़े भाषा मॉडल Llama 3.3 के प्रदर्शन को लगभग दोगुना कर सकती है। कंपनी का दावा है कि CompactifAI मॉडल के आकार को कम करने और इनफेरेंस को तेज करने के लिए क्वांटम-प्रेरित और टेंसर कम्प्रेशन विधियों का उपयोग करती है, साथ ही उच्च सटीकता बनाए रखती है। परीक्षण से पता चला है कि 288 कोर वाले इंटेल ज़ीऑन 6 प्लेटफॉर्म पर कार्य निष्पादन का समय लगभग 50% कम हो जाता है, जिससे मॉडल डेटा-सेंटरों में तैनाती के लिए अधिक कुशल हो जाता है। इंटेल और मल्टीवर्स कम्प्यूटिंग ने जोर दिया कि इस समाधान के लिए विशेष हार्डवेयर की आवश्यकता नहीं है और यह मानक CPU पर काम करता है।
स्रोत: Meta AI (GNews) —
मूल