Nunchaku Lite: 4-битный вывод диффузионных моделей в Diffusers

Nunchaku — метод квантования SVDQuant (W4A4) для диффузионных трансформеров. Новая интеграция Nunchaku Lite позволяет загружать квантованные чекпоинты напрямую через from_pretrained() в Diffusers, без отдельного движка. Скорость генерации возрастает до 1.8x, пиковое потребление VRAM снижается до 50%.

Hugging Face Baidu

«Алибаба» открыла исходный код AI-стека SAIL: 260+ фреймворков из коробки

Подразделение «Алибабы» по разработке чипов, компания Ping Tou Ge, объявила об открытии исходного кода своей проприетарной программной платформы ИИ — T-Head SAIL. Этот стек, использовавшийся на 560 000 чипах серии Zhenwu, охватывает уровни от драйвера до средств разработки и совместим с более чем 260 популярными фреймворками, включая PyTorch и TensorFlow. Решение призвано снизить порог входа разработчиков и ускорить переход с CUDA.

Alibaba/Qwen