Diskrete Quantisierung: Die nächste Grenze bei der Kompression neuronaler Netze

Der Artikel beginnt mit der Diskussion über die Entwicklung der Quantisierung neuronaler Netze, die sich von traditionellen Gleitkommaformaten zu Integer-Typen wie INT8 und INT4 und dann zu diskreter Quantisierung mit binären (1-Bit) und ternären (1,58-Bit) Gewichten entwickelt hat. Dieser Ansatz reduziert die Modellgröße radikal und ermöglicht den Einsatz auf Consumer-Hardware. Die Bonsai-27B-Familie von PrismML, basierend auf Qwen 3.6 27B, bietet binäre und ternäre Versionen, die 3,8 GB bzw. 7,17 GB belegen, verglichen mit den ursprünglichen 53,8 GB. Das Unternehmen behauptet, bis zu 90-95 % der ursprünglichen Fähigkeiten zu erhalten, aber die Tests des Autors zeigen etwa 75 % für Mathematik und Codierung und 60 % für komplexe Multi-Agenten-Funktionsaufrufe, was dennoch beeindruckend für ein Modell ist, das zehnmal kleiner ist. Der Autor stellt fest, dass das ternäre Modell das ursprüngliche in Bezug auf die Geschwindigkeit übertrifft und Text schneller generiert. Zusätzlich ist ein spekulativer Drafter DSpark enthalten, der die Generierungsgeschwindigkeit um 35 % ohne Qualitätsverlust steigert. Das Modell erfordert jedoch einen speziellen Fork von llama.cpp aufgrund nicht standardmäßiger Quantisierungsformate, dessen Erstellung und Ausführung der Autor demonstriert. Der Autor schlussfolgert, dass dies eine bedeutende Leistung darstellt, die eine Qualität bietet, die mit größeren quantisierten Modellen vergleichbar ist, während sie in kleineren VRAM passt, was sie für lokale Bereitstellung und möglicherweise auf mobilen Geräten wie dem iPhone 17 Pro Max geeignet macht.