Prompt, RAG veya ince ayar: LLM'nizi gerçekten ne öğretir

Sergey Proshchaev, Tech Lead, FinTech ve E-ticaret alanında, yerel bir LLM'e alan bilgisi öğretmenin üç yolunu karşılaştırmak için bir deney yaptı: bağlamla istem, RAG (getirmeyle artırılmış üretim) ve QLoRA ile ince ayar. Qwen3-8B modelini ve 24 GB VRAM'li tek bir RTX 4090 kullandı. Alan, dahili ödeme dokümantasyonuydu: edinici yanıt kodları, yeniden deneme kuralları, ödeme yönlendirme, limitler ve istisnalar dahil olmak üzere yaklaşık 120 sayfa düzenleme. Üç türden 30 soru oluşturdu: olgusal, sentetik (bölümler arasında sentez gerektiren) ve format (dahili olay raporu şablonunu izleyen). İstem için, tüm düzenlemeyi bağlama (128K token) koydu ve genel olarak 20 doğru cevap aldı, ancak 'Ortada Kaybolma' ve yüksek gecikme sorunu yaşadı. RAG için, örtüşmeli parçalama (500 token), BAAI/bge-m3 gömme ve vektör veritabanı olarak Qdrant kullanarak en iyi 5 parçayı çekti. RAG, olgusal sorularda 9/10 başarı elde etti ve kaynak referansları sağladı, ancak sentetik sorularda başarısız oldu ve dahili terminolojiyi öğrenemedi. QLoRA için, daha güçlü bir modelle yaklaşık 800 soru-cevap çifti üretti, bunları manuel olarak temizledi ve yaklaşık 40 dakika boyunca bir LoRA adaptörü eğitti. İnce ayarlı model, format sorularında mükemmeldi (10/10) ve sentetik sorularda iyileşme sağladı (8/10), ancak güncellenmiş gerçeklerde başarısız oldu ve veri setindeki eski limitlerle cevap verdi. Yazar, bu yaklaşımların rakip olmadığı, katmanlar olduğu sonucuna varıyor: istemle başlayın, ardından olgusal doğruluk ve kaynak referansları için RAG ekleyin ve modelin belirli bir stil veya terminoloji benimsemesini istediğinizde ince ayar kullanın. Çalışma ayrıca Unsloth Studio ve H2O LLM Studio'nun GUI tabanlı ince ayar sunduğunu ve Predibase tarafından yapılan LoRA Land araştırmasının ince ayarlı modellerin dar görevlerde GPT-4'ü geçebileceğini gösterdiğini belirtiyor.