再帰的なllama.cppフォーク上のBonsai-27B：RTX 3050での完全セットアップと実ベンチマーク

著者は、llama.cppの再帰的フォークに関するシリーズの第3部を紹介し、線形Delta-Net層と完全注意層を持つハイブリッドモデルであるBonsai-27Bに焦点を当てています。再帰は完全注意層にのみ適用されます。Q1_0量子化のモデルは約3.5 GBで、6 GBのVRAMに収まります。記事では、CUDAとCPUのビルド手順、および環境変数RECURRENT_D（深さ：0、12、24）、RECURRENT_LAYERS_COUNT、RECURRENT_KVを使用した実行コマンドを提供しています。RTX 3050 Mobile 6 GBで、シード42、温度0.3による実際のベンチマークが、暗号算パズルSEND+MORE=MONEYで実行され、トークン制限は7000でした。D=0では、問題を解かずに7000トークンを生成し、長さ制限に達しました（finish_reason: length）。D=12では、6594トークンを生成し、S=9、E=5、N=6、D=7、M=1、O=0、R=8、Y=2として正しく解き、9567+1085=10652を検証し、適切に停止しました（finish_reason: stop）。生成時間は両方とも約5.5分で、速度は21.1トークン/秒（D=0）と19.8トークン/秒（D=12）で、約6%の低下が見られました。記事では、再帰は重みを変更せず、推論計算グラフのみを変更することに言及し、Qwen3.5、Qwen2、Gemma 2、Mistral 3、Delta-Net（Bonsai）などの互換モデルをリストアップしています。