Qwen3.5/3.6 auf 16 GB VRAM: Quants, Feintuning, Vergleich und ein wenig über Gemma-4
Alibaba/Qwen
Google/DeepMind
Unsloth
Ein Entwickler testete verschiedene quantisierte und feinabgestimmte Modelle (Qwen3.5/3.6, Gemma-4) lokal auf einer RTX 5060 Ti mit 16 GB, um Fehler in seinem Spielcode zu beheben. Die Ergebnisse zeigen, dass niedrige Quantisierungen wie IQ3 funktionieren können, aber die Qualität unvorhersehbar zwischen Anbietern und Modellversionen variiert. Feinabstimmungen sind meist schlecht, mit einer Ausnahme, und der Autor empfiehlt, eigene Aufgaben zu testen, anstatt Benchmarks zu vertrauen.
Der Autor, ein nicht-professioneller Programmierer, hat mit KI-Unterstützung Spiele erstellt und beschlossen, Modelle lokal auszuführen. Sein Setup bestand aus einem Ryzen 5 5600G mit 32 GB RAM und einer RTX 5060 Ti 16 GB. Er testete eine ganze Menagerie von Modellen, darunter Qwen3.5 und Qwen3.6 in verschiedenen Quantisierungen (IQ3XS, Q3K_S, IQ3_S, IQ3_M, 4bpw), Feintunings von Qwen3.5 und Qwen3.6 sowie Gemma-4 12b in QAT und Q5K_S. Der Test umfasste die Behebung eines Fehlers in einem Spiel (Karten-Clipping) und das Bereinigen von Code. Bemerkenswerte Ergebnisse: Qwen3.5 27b in UD-IQ3XXS war erfolgreich, Qwen3.5 27b in Q3K_S war erfolgreich und optimierte sogar den Code, Qwen3.6 in IQ3_S war ebenfalls erfolgreich, während Qwen3.6 in UD-IQ3XXS und Q3K_S scheiterte und das Spiel beschädigte. Gemma-4 12b QAT war erfolgreich, aber Q5K_S scheiterte. Feintunings waren meist schlecht, außer 'defiant fable', das schneller und effizienter war. Der Autor stellte fest, dass die Quantqualität stark vom Anbieter abhängt (Unsloth vs. mradermacher) und dass i-Matrix-Quantisierungen nicht immer besser sind. Der Autor kommt zu dem Schluss, dass das Testen an eigenen Aufgaben unerlässlich ist und niedrige Quantisierungen wie IQ3 durchaus praktikabel sein können.
Quelle: Habr — хаб ИИ —
Original