Дискретное квантование: следующий рубеж в сжатии нейронных сетей
В статье рассматривается переход от классических методов квантования к дискретному квантованию, при котором веса ограничены небольшим набором значений (бинарным, троичным). Особое внимание уделяется семейству моделей Bonsai 27B от PrismML, использующему бинарные и троичные версии Qwen 3.6 27B, что позволяет достичь сжатия до 14 раз с сохранением значительной части возможностей исходной модели. Автор тестирует троичную версию, отмечая более быстрый вывод, но неравномерное падение производительности на сложных задачах, и обсуждает практические последствия запуска больших моделей на потребительском оборудовании.
Habr — хаб ИИ01.08 · 20:01