Prompt, RAG oder Fine-Tuning: Was bringt Ihrem LLM wirklich das Lernen bei?

Sergey Proshchaev, Tech Lead im Bereich FinTech & E-Commerce, führte ein Experiment durch, um drei Methoden zur Vermittlung domänenspezifischen Wissens an ein lokales LLM zu vergleichen: Prompt mit Kontext, RAG (retrieval-augmented Generation, also generative Abfrage mit erweiterter Informationsbeschaffung) und Feintuning mit QLoRA. Er verwendete das Modell Qwen3-8B und eine einzelne RTX 4090 mit 24 GB VRAM. Die Domäne war die interne Zahlungsdokumentation: etwa 120 Seiten mit Regelungen, einschließlich Acquirer-Response-Codes, Wiederholungsregeln, Zahlungsrouting, Limits und Ausnahmen. Er erstellte 30 Fragen in drei Kategorien: faktisch, synthetisch (die eine Synthese über Abschnitte hinweg erforderten) und formatbezogen (nach einer internen Vorlage für Incidents). Für das Prompting legte er die gesamte Vorschrift in den Kontext (128K Tokens) und erzielte insgesamt 20 richtige Antworten, litt jedoch unter dem „Lost in the Middle“-Effekt und hoher Latenz. Für RAG verwendete er Chunking (500 Tokens mit Überlappung), BAAI/bge-m3-Embeddings und Qdrant als Vektordatenbank, wobei die Top-5-Chunks abgerufen wurden. RAG erreichte 9/10 bei faktischen Fragen und lieferte Quellenangaben, scheiterte jedoch bei synthetischen Fragen und konnte keine internen Begriffe lernen. Für QLoRA generierte er mit einem stärkeren Modell etwa 800 Frage-Antwort-Paare, bereinigte sie manuell und trainierte einen LoRA-Adapter etwa 40 Minuten lang. Das feinabgestimmte Modell glänzte bei Formatfragen (10/10) und verbesserte sich bei synthetischen Fragen (8/10), versagte jedoch bei aktualisierten Fakten und antwortete mit alten Limits aus dem Datensatz. Der Autor kommt zu dem Schluss, dass diese Ansätze keine Konkurrenten, sondern Schichten sind: Man beginnt mit Prompting, fügt dann RAG für faktische Genauigkeit und Quellenangaben hinzu und verwendet Feintuning, wenn das Modell einen bestimmten Stil oder eine bestimmte Terminologie übernehmen soll. Die Studie erwähnt außerdem, dass Unsloth Studio und H2O LLM Studio GUI-basiertes Feintuning anbieten, und die LoRA-Land-Forschung von Predibase zeigte, dass feinabgestimmte Modelle GPT-4 bei engen Aufgaben übertreffen können.