Nunchaku Lite：在Diffusers中对扩散模型进行4位推理

Nunchaku 是一种用于扩散变换器的量化方法 SVDQuant（W4A4）。新的 Nunchaku Lite 集成允许直接在 Diffusers 中通过 from_pretrained() 加载量化检查点，无需单独的引擎。生成速度提升高达1.8倍，峰值显存消耗降低高达50%。

Hugging Face Baidu

阿里巴巴开源AI软件栈SAIL：内置260多个框架

阿里巴巴芯片开发部门平头哥宣布开源其自研AI软件平台T-Head SAIL。该平台已在真武系列56万颗芯片上使用，覆盖从驱动到开发工具的各个层次，兼容包括PyTorch和TensorFlow在内的260多个主流框架。该方案旨在降低开发者门槛，加速从CUDA迁移。

Alibaba/Qwen