再帰的なllama.cppフォーク上のBonsai-27B：RTX 3050での完全セットアップと実ベンチマーク
再帰的なllama.cppフォークに関するこの3番目の記事では、ハイブリッドBonsai-27Bモデル（Delta-Net線形アーキテクチャ）を性能の低いGPU上で実行し、暗号算タスクにおける深度D=0とD=12の実ベンチマークを示す。再帰を有効にした場合（D=12）、モデルはSEND+MORE=MONEYを解いたが、基本エンジンは失敗した。セットアップコマンドと再帰用の環境変数が提供される。
cubetitled-ui
Habr — хаб ИИ06.08 · 00:03