Rekursiivinen llama.cpp-moottori RTX 3050:llä: Qwen 32B ja 7B Coder -testit — 3-kertainen laadunparannus ja muistin nälkä

Artikkelin kirjoittaja jatkaa llama.cpp-haaran testaamista, joka toteuttaa rekursiivisen tilan (merkitty D=12) verrattuna vakiomoottoriin (D=0). Testit suoritettiin RTX 3050 6 Gt -näytönohjaimella, kaikki mallit Q4-kvantisoinnilla. Suurella Qwen 32B-A3B -mallilla helpoissa vertailutehtävissä molemmat moottorit tuottivat identtiset tulokset, mutta rekursiivinen versio oli hieman hitaampi. Vaikeassa osiossa rekursiivinen moottori korjasi lähes 3,1 kertaa enemmän virheitä koodikatselmoinnissa, vaikka se vei 17 prosenttia enemmän aikaa. Kirjoittaja huomauttaa, että rekursiivinen moottori ratkaisee 'laiskan koodin tuottamisen' ongelman tuottaen täydellisiä monoliittisia skriptejä katkelmien sijaan. Qwen 2.5 Coder 7B Instruct -mallilla rekursiivinen versio suoriutui paremmin koodikatselmoinnissa (löysi yhden bugin enemmän), fullstack-kehityksessä se täytti vaatimukset täysin, kun taas vakioversio ei, ja 2D-pelitestissä tuli tasapeli, rekursiivisen moottorin välttäessä olemattomia tageja ja toteuttaessa peruspelilogiikan. Mistral 7B Instruct v0.2 -mallilla rekursiivinen moottori paransi merkittävästi turvallisuutta (98 prosenttia suojattu), paransi dramaattisesti fullstack-alustaa (2,2-kertainen parannus, 100 prosenttia liiketoimintalogiikasta) ja tuotti siistimmän pelin asettelun. Suurin haittapuoli on noin 13 prosentin nopeuden hidastuminen ja lisääntynyt VRAM-kulutus. Kirjoittaja linkittää haaran säilytyspaikan ja Google Driven yksityiskohtaisine tuloksineen.