Prompt, RAG, atau Fine-tuning: Apa yang Sebenarnya Membuat LLM Anda Belajar
Dalam artikel ini, Sergey Proshchaev, seorang Tech Lead di FinTech & E-commerce, membandingkan tiga pendekatan untuk mengajarkan pengetahuan domain kepada LLM: prompting dengan konteks, RAG, dan fine-tuning QLoRA. Menggunakan satu model (Qwen3-8B) dan satu GPU (RTX 4090), ia menguji ketiganya pada 30 pertanyaan yang sama. Hasilnya menunjukkan bahwa RAG paling baik untuk pertanyaan faktual, QLoRA unggul dalam format dan terminologi, tetapi gagal pada data yang diperbarui, dan prompting adalah titik awal yang baik tetapi memiliki keterbatasan.
Sergey Proshchaev, Tech Lead di bidang FinTech & E-commerce, melakukan eksperimen untuk membandingkan tiga cara mengajarkan pengetahuan domain spesifik kepada LLM lokal: prompt dengan konteks, RAG (retrieval-augmented generation), dan fine-tuning dengan QLoRA. Ia menggunakan model Qwen3-8B dan satu RTX 4090 dengan 24 GB VRAM. Domain yang digunakan adalah dokumentasi pembayaran internal: sekitar 120 halaman regulasi, termasuk kode respons acquirer, aturan percobaan ulang, routing pembayaran, batasan, dan pengecualian. Ia membuat 30 pertanyaan dari tiga tipe: faktual, sintetis (membutuhkan sintesis antar bagian), dan format (mengikuti template laporan insiden internal). Untuk prompting, ia memasukkan seluruh regulasi ke dalam konteks (128K token) dan mendapatkan 20 jawaban benar secara keseluruhan, tetapi mengalami masalah 'Lost in the Middle' dan latensi tinggi. Untuk RAG, ia menggunakan chunking (500 token dengan overlap), embedding BAAI/bge-m3, dan Qdrant sebagai basis data vektor, mengambil top-5 chunk. RAG mencapai 9/10 pada pertanyaan faktual dan memberikan referensi sumber, tetapi gagal pada pertanyaan sintetis dan tidak dapat mempelajari terminologi internal. Untuk QLoRA, ia menghasilkan sekitar 800 pasangan tanya-jawab dengan model yang lebih kuat, membersihkannya secara manual, dan melatih adapter LoRA selama sekitar 40 menit. Model yang di-fine-tuning unggul dalam pertanyaan format (10/10) dan meningkat pada pertanyaan sintetis (8/10), tetapi gagal pada fakta yang diperbarui, menjawab dengan batasan lama dari dataset. Penulis menyimpulkan bahwa pendekatan-pendekatan ini bukanlah pesaing tetapi lapisan: mulai dengan prompting, kemudian tambahkan RAG untuk akurasi faktual dan referensi sumber, dan gunakan fine-tuning ketika Anda membutuhkan model untuk mengadopsi gaya atau terminologi tertentu. Studi ini juga menyebutkan bahwa Unsloth Studio dan H2O LLM Studio menawarkan fine-tuning berbasis GUI, dan penelitian LoRA Land oleh Predibase menunjukkan bahwa model yang di-fine-tuning dapat melampaui GPT-4 pada tugas-tugas sempit.
Sumber: Habr — хаб ИИ —
asli