Nunchaku Lite: استدلال رباعي البتات لنماذج الانتشار في المكتبة "ديفيوزرز"

Nunchaku هي طريقة تكثيف (الكمية) تسمى SVDQuant (W4A4) لمحولات الانتشار. يتيح تكامل Nunchaku Lite الجديد تحميل نقاط التفتيش المكثّفة مباشرة عبر from_pretrained() في المكتبة "ديفيوزرز"، دون الحاجة إلى محرك منفصل. تزداد سرعة التوليد حتى 1.8 مرة، وتنخفض ذروة استهلاك الذاكرة الافتراضية بنسبة تصل إلى 50%.

Hugging Face Baidu