Nunchaku Lite: استدلال رباعي البتات لنماذج الانتشار في المكتبة "ديفيوزرز"

Nunchaku هي طريقة تكثيف (الكمية) تسمى SVDQuant (W4A4) لمحولات الانتشار. يتيح تكامل Nunchaku Lite الجديد تحميل نقاط التفتيش المكثّفة مباشرة عبر from_pretrained() في المكتبة "ديفيوزرز"، دون الحاجة إلى محرك منفصل. تزداد سرعة التوليد حتى 1.8 مرة، وتنخفض ذروة استهلاك الذاكرة الافتراضية بنسبة تصل إلى 50%.

Hugging Face Baidu

علي بابا تفتح مصدر حزمة SAIL للذكاء الاصطناعي: أكثر من 260 إطارًا جاهزًا للاستخدام

أعلنت Ping Tou Ge، قسم تطوير الرقائق في علي بابا، عن فتح مصدر منصة البرمجيات الخاصة بها للذكاء الاصطناعي T-Head SAIL. تُستخدم هذه الحزمة على 560 ألف شريحة من سلسلة Zhenwu، وتغطي طبقات من برامج التشغيل إلى أدوات التطوير، وتتوافق مع أكثر من 260 إطارًا شائعًا بما في ذلك PyTorch وTensorFlow. يهدف الحل إلى خفض حاجز الدخول للمطورين وتسريع الانتقال من CUDA.

Alibaba/Qwen