3 Bits statt 16: TurboQuant aufgeschlüsselt und wann man es wirklich aktivieren sollte

Im März 2026 veröffentlichte Google einen Beitrag über TurboQuant, einen Speicherkomprimierungsalgorithmus für Sprachmodelle, der eine Marktpanik auslöste, da die Aktien von Speicherherstellern innerhalb einer Woche zusammen fast 90 Milliarden Dollar an Marktkapitalisierung verloren. Der Algorithmus adressiert das KV-Cache-Problem: Wenn LLMs Text generieren, speichern sie Zwischenberechnungen für alle vorherigen Token, was linear mit der Kontextlänge wächst und Dutzende von Gigabyte verbrauchen kann. Zum Beispiel belegt der KV-Cache für Llama 3.1 70B bei 128K Kontext etwa 40 GB in BF16, was es unmöglich macht, ihn auf einer einzelnen H100-GPU unterzubringen. TurboQuant komprimiert den KV-Cache um das Fünf- bis Sechsfache, indem eine zufällige Rotation auf die Vektoren vor der Quantisierung angewendet wird, gefolgt von einem optimalen Lloyd-Max-Quantisierer, alles ohne Kalibrierung oder Feinabstimmung. Dieser datenunabhängige Ansatz funktioniert mit jedem Transformer-Modell. Google behauptet "bis zu 8-fache Beschleunigung auf H100-GPUs", aber die Community-Analyse zeigt, dass dies gegen FP32 gemessen wird; die tatsächliche Beschleunigung beträgt etwa das Vierfache nur für die Aufmerksamkeit, und die Speichereinsparungen sind der eigentliche Vorteil. Benchmarks auf kleinen Modellen (bis zu 8B) zeigen keine Genauigkeitsverluste auf LongBench und Needle-in-a-Haystack, aber es gibt keine Daten für Modelle mit 70B+ und Community-Tests an einem 104B-Modell zeigen nur einen Anstieg der Perplexität um 3,6%. Vergleiche mit Alternativen wie KVTC (bis zu 20-fache Komprimierung, erfordert jedoch Kalibrierung), RotorQuant (schnellere Rotation, aber geringere Qualität) und KIVI (16-fache Komprimierung, in Hugging Face integriert) bieten ein umfassendes Bild. Das Fehlen von offiziellem Code wird durch über 15 Community-Implementierungen gemildert.