Prompt, RAG ou fine-tuning: o que realmente faz seu LLM aprender
Neste artigo, Sergey Proshchaev, Tech Lead em FinTech e E-commerce, compara três abordagens para ensinar conhecimento de domínio a um LLM: prompting com contexto, RAG e fine-tuning QLoRA. Usando um modelo (Qwen3-8B) e uma GPU (RTX 4090), ele testou todas as três nas mesmas 30 perguntas. Os resultados mostram que RAG é melhor para perguntas factuais, QLoRA se destaca em formato e terminologia, mas falha em dados atualizados, e prompting é um bom ponto de partida, mas tem limitações.
Sergey Proshchaev, Tech Lead em FinTech & E-commerce, conduziu um experimento para comparar três formas de ensinar conhecimento específico de domínio a um LLM local: prompt com contexto, RAG (geração aumentada por recuperação) e fine-tuning com QLoRA. Ele usou o modelo Qwen3-8B e uma única RTX 4090 com 24 GB de VRAM. O domínio era documentação interna de pagamentos: cerca de 120 páginas de regulamentos, incluindo códigos de resposta do adquirente, regras de re tentativa, roteamento de pagamentos, limites e exceções. Ele criou 30 perguntas de três tipos: factuais, sintéticas (exigindo síntese entre seções) e de formato (seguindo um modelo de relatório de incidente interno). Para prompting, ele colocou todo o regulamento no contexto (128 mil tokens) e obteve 20 respostas corretas no total, mas sofreu com 'Lost in the Middle' e alta latência. Para RAG, ele usou chunking (500 tokens com sobreposição), embeddings BAAI/bge-m3 e Qdrant como banco de dados vetorial, recuperando os 5 principais chunks. O RAG alcançou 9/10 em perguntas factuais e forneceu referências de fontes, mas falhou em perguntas sintéticas e não conseguiu aprender terminologia interna. Para QLoRA, ele gerou cerca de 800 pares de pergunta-resposta com um modelo mais forte, limpou-os manualmente e treinou um adaptador LoRA por cerca de 40 minutos. O modelo com fine-tuning se destacou nas perguntas de formato (10/10) e melhorou nas sintéticas (8/10), mas falhou em fatos atualizados, respondendo com limites antigos do conjunto de dados. O autor conclui que essas abordagens não são concorrentes, mas camadas: comece com prompting, depois adicione RAG para precisão factual e referências de fontes, e use fine-tuning quando precisar que o modelo adote um estilo ou terminologia específica. O estudo também menciona que Unsloth Studio e H2O LLM Studio oferecem fine-tuning baseado em GUI, e a pesquisa LoRA Land da Predibase mostrou que modelos com fine-tuning podem superar o GPT-4 em tarefas específicas.
Fonte: Habr — хаб ИИ —
original