Nunchaku Lite : inférence 4 bits des modèles de diffusion dans Diffusers

Nunchaku est une méthode de quantification SVDQuant (W4A4) pour les transformateurs de diffusion. La nouvelle intégration Nunchaku Lite permet de charger des points de contrôle quantifiés directement via from_pretrained() dans Diffusers, sans moteur séparé. La vitesse de génération augmente jusqu'à 1,8 fois, la consommation crête de VRAM diminue jusqu'à 50 %.

Hugging Face Baidu

Alibaba open-source sa pile IA SAIL : plus de 260 frameworks prêts à l'emploi

La division de développement de puces d'Alibaba, Ping Tou Ge, a annoncé l'open-source de sa plateforme logicielle IA propriétaire, T-Head SAIL. Cette pile, utilisée sur 560 000 puces de la série Zhenwu, couvre les couches allant des pilotes aux outils de développement et est compatible avec plus de 260 frameworks populaires, notamment PyTorch et TensorFlow. La solution vise à abaisser la barrière d'entrée pour les développeurs et à accélérer la migration depuis CUDA.

Alibaba/Qwen