Mesin llama.cpp Rekursif di RTX 3050: Tes Qwen 32B dan 7B Coder - Peningkatan Kualitas 3x dan Konsumsi Memori

Penulis artikel ini melanjutkan pengujian terhadap fork dari llama.cpp yang mengimplementasikan mode rekursif (ditandai D=12) dibandingkan dengan mesin standar (D=0). Pengujian dilakukan pada kartu grafis RTX 3050 6 GB, dengan semua model dalam kuantisasi Q4. Untuk model besar Qwen 32B-A3B, pada tugas benchmark yang mudah kedua mesin menghasilkan hasil yang identik, tetapi versi rekursif sedikit lebih lambat. Pada segmen yang sulit, mesin rekursif memperbaiki hampir 3,1 kali lebih banyak kesalahan dalam tugas peninjauan kode, meskipun membutuhkan waktu 17% lebih lama. Penulis mencatat bahwa mesin rekursif memecahkan masalah 'generasi kode malas', menghasilkan skrip monolitik lengkap alih-alih potongan-potongan yang terfragmentasi. Untuk Qwen 2.5 Coder 7B Instruct, versi rekursif menunjukkan kinerja lebih baik dalam peninjauan kode (menemukan satu bug lagi), dalam pengembangan fullstack sepenuhnya memenuhi persyaratan sementara versi standar tidak, dan dalam pengujian game 2D hasilnya seri, dengan mesin rekursif menghindari tag yang tidak ada dan mengimplementasikan logika game dasar. Untuk Mistral 7B Instruct v0.2, mesin rekursif secara signifikan meningkatkan keamanan (98% terlindungi), secara dramatis meningkatkan platform fullstack (peningkatan 2,2x, 100% logika bisnis), dan menghasilkan tata letak game yang lebih bersih. Kelemahan utama adalah penurunan kecepatan sekitar 13% dan peningkatan konsumsi VRAM. Penulis menautkan repositori fork dan Google Drive dengan hasil yang terperinci.