Nunchaku Lite: 4-Bit-Inferenz von Diffusionsmodellen in Diffusers

Nunchaku ist eine Quantisierungsmethode namens SVDQuant (W4A4) für Diffusionstransformatoren. Die neue Nunchaku Lite-Integration ermöglicht das direkte Laden quantisierter Prüfpunkte über from_pretrained() in Diffusers, ohne separate Engine. Die Generierungsgeschwindigkeit steigt um bis zu 1,8x, der Spitzen-VRAM-Verbrauch sinkt um bis zu 50%.

Hugging Face Baidu

Alibaba macht KI-Stack SAIL als Open Source verfügbar: Über 260 Frameworks sofort einsatzbereit

Die Chipentwicklungsabteilung von Alibaba, Ping Tou Ge, hat die Veröffentlichung ihrer proprietären KI-Softwareplattform T-Head SAIL als Open Source angekündigt. Dieser Stack, der auf 560.000 Chips der Zhenwu-Serie eingesetzt wird, deckt Schichten von Treibern bis hin zu Entwicklungswerkzeugen ab und ist mit über 260 gängigen Frameworks, darunter PyTorch und TensorFlow, kompatibel. Die Lösung soll die Einstiegshürde für Entwickler senken und die Migration von CUDA beschleunigen.

Alibaba/Qwen