16 GB VRAM で Qwen3.5/3.6 を試す：量子化、ファインチューニング、比較、そして Gemma-4 について少し

著者は非プロのプログラマーだが、AIの助けを借りてゲームを作り、モデルをローカルで動かすことにした。その環境はRyzen 5 5600G、32GB RAM、RTX 5060 Ti 16GBだった。彼らは、Qwen3.5やQwen3.6のさまざまな量子化バージョン（IQ3XS、Q3K_S、IQ3_S、IQ3_M、4bpw）、Qwen3.5とQwen3.6のファインチューン、Gemma-4 12bのQATとQ5K_Sなど、多種多様なモデルをテストした。テストでは、ゲームのバグ（マップのクリッピング）の修正とコードのクリーンアップを行った。注目すべき結果として、Qwen3.5 27bのUD-IQ3XXS版が成功し、Qwen3.5 27bのQ3K_S版も成功してコードを最適化まで行い、Qwen3.6のIQ3_S版も成功したが、Qwen3.6のUD-IQ3XXS版とQ3K_S版は失敗し、ゲームを壊してしまった。Gemma-4 12bのQAT版は成功したが、Q5K_S版は失敗した。ファインチューンはほとんどが不十分で、'defiant fable'だけが高速で効率的だった。著者は、量子化の品質は提供元（Unsloth対mradermacher）に大きく依存し、i-matrix量子化が常に優れているわけではないことを発見した。著者は、自分のタスクでテストすることが不可欠であり、IQ3のような低ビット量子化も実用的であると結論づけている。