RTX 3050上の再帰的llama.cppエンジン：Qwen 32Bおよび7Bコーダーテスト — 3倍の品質向上とメモリ消費

記事の著者は、llama.cppのフォークで再帰モード（D=12と指定）を実装したものを、標準エンジン（D=0）と引き続きテストしている。テストはRTX 3050 6 GBビデオカードで行われ、すべてのモデルはQ4量子化である。大規模なQwen 32B-A3Bモデルでは、簡単なベンチマークタスクで両エンジンが同一の結果を出したが、再帰バージョンはわずかに遅かった。難しいセグメントでは、再帰エンジンはコードレビュータスクで約3.1倍多くのエラーを修正したが、時間は17%多くかかった。著者は、再帰エンジンが「怠惰なコード生成」の問題を解決し、断片的なスニペットではなく完全なモノリシックスクリプトを生成すると述べている。Qwen 2.5 Coder 7B Instructでは、再帰バージョンはコードレビューでより良いパフォーマンスを示し（バグを1つ多く発見）、フルスタック開発では要件を完全に満たしたのに対し、標準バージョンは満たさなかった。2Dゲームテストでは引き分けで、再帰エンジンは存在しないタグを回避し、基本的なゲームロジックを実装した。Mistral 7B Instruct v0.2では、再帰エンジンはセキュリティを大幅に向上させ（98%保護）、フルスタックプラットフォームを劇的に改善し（2.2倍の改善、100%ビジネスロジック）、よりクリーンなゲームレイアウトを生成した。主な欠点は、約13%の速度低下とVRAM消費の増加である。著者は、フォークのリポジトリと詳細な結果を含むGoogle Driveへのリンクを掲載している。