RTX 3050 Üzerinde Özyinelemeli llama.cpp Motoru: Qwen 32B ve 7B Kodlayıcı Testleri — 3 Kat Kalite Artışı ve Bellek İştahı
Mistral
Bu makale, özyinelemeli işleme modu ekleyen llama.cpp çatalı hakkındaki bir makalenin ikinci bölümüdür. Yazar, standart motoru (D=0) geliştirilmiş çatalla (D=12) karşılaştırarak RTX 3050 6 GB üzerinde Qwen 32B ve Qwen 2.5 Coder 7B'yi test etti. Özyinelemeli motor, kod kalitesini önemli ölçüde artırdı (doğru düzeltmelerde 3,1 kata kadar) ancak üretim hızında yaklaşık %11-13 kayba ve VRAM kullanımında artışa neden oldu.
Yazar, llama.cpp'nin özyinelemeli modu (D=12 olarak adlandırılır) uygulayan bir çatalını standart motorla (D=0) karşılaştırmaya devam ediyor. Testler, RTX 3050 6 GB ekran kartında, tüm modeller Q4 quantizasyonu ile çalıştırılarak yapıldı. Büyük Qwen 32B-A3B modeli için, kolay benchmark görevlerinde her iki motor da aynı sonuçları üretti, ancak özyinelemeli sürüm biraz daha yavaştı. Zor segmentte, özyinelemeli motor kod inceleme görevinde neredeyse 3,1 kat daha fazla hatayı düzeltti, ancak %17 daha fazla zaman aldı. Yazar, özyinelemeli motorun 'tembel kod üretimi' sorununu çözdüğünü, parçalı parçacıklar yerine tam monolitik betikler ürettiğini belirtiyor. Qwen 2.5 Coder 7B Instruct için, özyinelemeli sürüm kod incelemede daha iyi performans gösterdi (bir hata daha buldu), fullstack geliştirmede standart sürüm karşılamazken gereksinimleri tamamen karşıladı ve 2D oyun testinde berabere kaldı; özyinelemeli motor var olmayan etiketlerden kaçındı ve temel oyun mantığını uyguladı. Mistral 7B Instruct v0.2 için, özyinelemeli motor güvenliği önemli ölçüde iyileştirdi (%98 koruma), fullstack platformunu büyük ölçüde geliştirdi (2,2 kat iyileştirme, %100 iş mantığı) ve daha temiz oyun yerleşimi üretti. Ana dezavantaj, yaklaşık %13 hız düşüşü ve artan VRAM tüketimidir. Yazar, çatal deposunun ve ayrıntılı sonuçların bulunduğu Google Drive bağlantısını paylaşıyor.
Kaynak: Habr — хаб ИИ —
orijinal