Recursieve llama.cpp-engine op RTX 3050: Qwen 32B en 7B Coder-tests — 3x kwaliteitsboost en geheugenhonger

De auteur van het artikel blijft een fork van llama.cpp testen die een recursieve modus implementeert (aangeduid als D=12) tegen de standaardengine (D=0). De tests werden uitgevoerd op een RTX 3050 6 GB videokaart, met alle modellen in Q4-kwantificatie. Voor het grote Qwen 32B-A3B-model produceerden beide engines identieke resultaten bij eenvoudige benchmarktaken, maar de recursieve versie was iets langzamer. In het moeilijke segment corrigeerde de recursieve engine bijna 3,1 keer meer fouten in de codebeoordelingstaak, hoewel het 17% meer tijd kostte. De auteur merkt op dat de recursieve engine het probleem van 'lazy code generation' oplost door complete monolithische scripts te produceren in plaats van gefragmenteerde snippets. Voor Qwen 2.5 Coder 7B Instruct presteerde de recursieve versie beter bij codebeoordeling (vond nog een bug meer), voldeed bij fullstack-ontwikkeling volledig aan de vereisten terwijl de standaardversie dat niet deed, en bij de 2D-game-test was het gelijk, waarbij de recursieve engine niet-bestaande tags vermeed en de basisgamlogica implementeerde. Voor Mistral 7B Instruct v0.2 verbeterde de recursieve engine de beveiliging aanzienlijk (98% beschermd), verbeterde het fullstack-platform dramatisch (2,2x verbetering, 100% bedrijfslogica) en produceerde een schonere game-indeling. Het grootste nadeel is een snelheidsvermindering van ongeveer 13% en een verhoogd VRAM-verbruik. De auteur linkt naar de fork-repository en Google Drive met gedetailleerde resultaten.