डिस्क्रीट क्वांटाइज़ेशन: न्यूरल नेटवर्क्स को कंप्रेस करने की अगली सीमा

यह लेख न्यूरल नेटवर्क क्वांटाइज़ेशन के विकास पर चर्चा करके शुरू होता है, जो पारंपरिक फ्लोटिंग-पॉइंट प्रारूपों से इंटीजर प्रकारों जैसे INT8 और INT4 की ओर बढ़ रहा है, और फिर बाइनरी (1-बिट) और टर्नरी (1.58-बिट) भार के साथ असतत क्वांटाइज़ेशन की ओर। यह दृष्टिकोण मॉडल के आकार को मौलिक रूप से कम करता है और उपभोक्ता हार्डवेयर पर तैनाती को सक्षम बनाता है। PrismML से Bonsai 27B परिवार, Qwen 3.6 27B पर आधारित है, जो बाइनरी और टर्नरी संस्करण प्रदान करता है जो क्रमशः 3.8 GB और 7.17 GB स्थान घेरते हैं, जबकि मूल मॉडल 53.8 GB का था। कंपनी का दावा है कि मूल क्षमताओं का 90-95% तक संरक्षण होता है, लेकिन लेखक के परीक्षणों में गणित और कोडिंग के लिए लगभग 75% और जटिल बहु-एजेंट फ़ंक्शन कॉलिंग के लिए 60% दिखा, जो 10 गुना छोटे मॉडल के लिए अभी भी प्रभावशाली है। लेखक ध्यान देते हैं कि टर्नरी मॉडल गति में मूल मॉडल से बेहतर प्रदर्शन करता है, पाठ को तेज़ी से उत्पन्न करता है। इसके अतिरिक्त, गुणवत्ता को खोए बिना उत्पादन गति को 35% बढ़ाने के लिए एक सट्टा ड्राफ्टर DSpark शामिल है। हालांकि, मॉडल को गैर-मानक क्वांटाइज़ेशन प्रारूपों के कारण llama.cpp के एक विशेष फोर्क की आवश्यकता होती है, जिसे लेखक प्रदर्शित करते हैं कि कैसे बनाया और चलाया जाए। लेखक निष्कर्ष निकालते हैं कि यह एक महत्वपूर्ण उपलब्धि का प्रतिनिधित्व करता है, जो बड़े क्वांटाइज़्ड मॉडलों के बराबर गुणवत्ता प्रदान करता है जबकि छोटे VRAM में फिट बैठता है, जिससे यह स्थानीय तैनाती के लिए उपयुक्त है और संभावित रूप से iPhone 17 Pro Max जैसे मोबाइल उपकरणों पर भी चल सकता है।