Nunchaku Lite: 4-битный вывод диффузионных моделей в Diffusers
Hugging Face
Baidu
Nunchaku — метод квантования SVDQuant (W4A4) для диффузионных трансформеров. Новая интеграция Nunchaku Lite позволяет загружать квантованные чекпоинты напрямую через from_pretrained() в Diffusers, без отдельного движка. Скорость генерации возрастает до 1.8x, пиковое потребление VRAM снижается до 50%.
В блоге Hugging Face анонсирована интеграция метода квантования Nunchaku (основан на SVDQuant) в библиотеку Diffusers. SVDQuant работает с 4-битными весами и активациями (W4A4) и обрабатывает выбросы за счёт перемещения их в веса, оставляя малую 16-битную низкоранговую ветвь. Оригинальный движок Nunchaku требовал отдельных интеграций под каждую архитектуру. Nunchaku Lite устраняет эту проблему,
Показать ещё ↓
- Сокращения
- AWQ = Activation-aware Weight Quantization — квантование весов с учётом активаций
- BF16 = Brain Floating Point 16-bit — 16-битный формат с плавающей точкой Brain Float
- NF4 = Normal Float 4-bit — 4-битный нормализованный формат с плавающей точкой
- NVFP4 = NVIDIA FP4 — 4-битный формат с плавающей точкой NVIDIA
- SVDQ = Singular Value Decomposition Quantization — квантование с сингулярным разложением
- VRAM = Video Random Access Memory — видеопамять
Источник: Hugging Face blog —
оригинал