Nunchaku Lite: Inferencia de modelos de difusión en 4 bits en Diffusers

Nunchaku es un método de cuantización SVDQuant (W4A4) para transformers de difusión. La nueva integración Nunchaku Lite permite cargar puntos de control cuantizados directamente mediante from_pretrained() en Diffusers, sin un motor separado. La velocidad de generación aumenta hasta 1.8 veces, y el consumo máximo de VRAM se reduce hasta un 50%.

Hugging Face Baidu

Alibaba publica como código abierto su pila de IA SAIL: más de 260 marcos listos para usar

La división de desarrollo de chips de Alibaba, Ping Tou Ge, ha anunciado la publicación como código abierto de su plataforma de software de IA propietaria, T-Head SAIL. Esta pila, utilizada en 560 000 chips de la serie Zhenwu, abarca desde controladores hasta herramientas de desarrollo y es compatible con más de 260 marcos populares, incluidos PyTorch y TensorFlow. La solución busca reducir la barrera de entrada para los desarrolladores y acelerar la migración desde CUDA.

Alibaba/Qwen