التكميم المنفصل: الحدود التالية في ضغط الشبكات العصبية

تبدأ المقالة بمناقشة تطور تكميم الشبكات العصبية، والانتقال من تنسيقات النقطة العائمة التقليدية إلى الأنواع الصحيحة مثل INT8 وINT4، ثم إلى التكميم المنفصل بالأوزان الثنائية (1-بت) والثلاثية (1.58-بت). يقلل هذا النهج بشكل جذري من حجم النموذج ويتيح نشره على أجهزة المستهلكين. عائلة Bonsai 27B من PrismML، المبنية على Qwen 3.6 27B، تقدم نسختين ثنائية وثلاثية تشغلان 3.8 جيجابايت و7.17 جيجابايت على التوالي، مقارنة بـ 53.8 جيجابايت الأصلية. تدعي الشركة الحفاظ على ما يصل إلى 90-95% من القدرات الأصلية، لكن اختبارات المؤلف تُظهر حوالي 75% للرياضيات والبرمجة، و60% لاستدعاء الوظائف المعقدة متعددة الوكلاء، ومع ذلك فهي لا تزال مثيرة للإعجاب لنموذج أصغر بعشر مرات. يلاحظ المؤلف أن النموذج الثلاثي يتفوق على الأصلي في السرعة، حيث ينتج النص بشكل أسرع. بالإضافة إلى ذلك، يتم تضمين مُسوّد تخميني يسمى DSpark لتعزيز سرعة التوليد بنسبة 35% دون فقدان الجودة. ومع ذلك، يتطلب النموذج نسخة خاصة من llama.cpp بسبب تنسيقات التكميم غير القياسية، وهو ما يشرح المؤلف كيفية بنائها وتشغيلها. يخلص المؤلف إلى أن هذا يمثل إنجازًا كبيرًا، حيث يقدم جودة مماثلة للنماذج المكممة الأكبر حجمًا مع احتلال مساحة أصغر من ذاكرة الفيديو، مما يجعله مناسبًا للنشر المحلي وربما على الأجهزة المحمولة مثل iPhone 17 Pro Max.