Prompt, RAG vai hienosäätö: mikä todella opettaa LLM:si
Tässä artikkelissa Sergey Proshchaev, Tech Lead FinTech- ja verkkokauppa-alalla, vertaa kolmea tapaa opettaa LLM:lle toimialatietämystä: kontekstin promptaus, RAG ja QLoRA-hienosäätö. Hän testasi kaikkia kolmea samalla mallilla (Qwen3-8B) ja samalla GPU:lla (RTX 4090) samoilla 30 kysymyksellä. Tulokset osoittavat, että RAG on paras faktakysymyksiin, QLoRA loistaa muodon ja terminologian suhteen, mutta epäonnistuu päivitetyn tiedon kanssa, ja promptaus on hyvä lähtökohta, mutta rajoitteita löytyy.
Sergey Proshchaev, Tech Lead FinTech- ja verkkokauppa-alalla, teki kokeen, jossa hän vertasi kolmea tapaa opettaa paikalliselle kielimallille toimialakohtaista tietoa: kontekstin kanssa kehottaminen, RAG (hakupohjainen generointi) ja hienosäätö QLoRA:lla. Hän käytti Qwen3-8B-mallia ja yhtä RTX 4090 -näytönohjainta, jossa on 24 Gt VRAM-muistia. Toimialana olivat sisäiset maksuasiakirjat: noin 120 sivua säännöksiä, mukaan lukien hankkijan vastauskoodit, uudelleenyrityssäännöt, maksujen reititys, rajat ja poikkeukset. Hän loi 30 kysymystä kolmeen tyyppiin: faktakysymykset, synteettiset kysymykset (vaativat synteesiä eri osioiden välillä) ja muotokysymykset (sisäisen tapahtumaraporttipohjan noudattaminen). Kehottamisessa hän laittoi koko säännöstön kontekstiin (128K tokeneita) ja sai kaiken kaikkiaan 20 oikeaa vastausta, mutta kärsi 'Lost in the Middle' -ongelmasta ja suuresta viiveestä. RAG:ssa hän käytti paloittelua (500 tokenia limityksellä), BAAI/bge-m3 upotuksia ja Qdrantia vektoritietokantana, hakien viisi parasta palaa. RAG saavutti 9/10 faktakysymyksissä ja antoi lähdeviitteet, mutta epäonnistui synteettisissä kysymyksissä eikä oppinut sisäistä terminologiaa. QLoRA:ssa hän tuotti noin 800 kysymys-vastausparia vahvemmalla mallilla, siivosi ne manuaalisesti ja koulutti LoRA-adapterin noin 40 minuutissa. Hienosäädetty malli loisti muotokysymyksissä (10/10) ja parani synteettisissä kysymyksissä (8/10), mutta se epäonnistui päivitetyissä faktoissa vastaamalla vanhoilla rajoilla aineistosta. Kirjoittaja päättelee, että nämä lähestymistavat eivät ole kilpailijoita vaan kerroksia: aloita kehottamisella, lisää sitten RAG faktatarkkuuteen ja lähdeviitteisiin, ja käytä hienosäätöä, kun haluat mallin omaksuvan tietyn tyylin tai terminologian. Tutkimuksessa mainitaan myös, että Unsloth Studio ja H2O LLM Studio tarjoavat graafisen käyttöliittymän hienosäätöön, ja Predibasen LoRA Land -tutkimus osoitti, että hienosäädetyt mallit voivat ylittää GPT-4:n kapeissa tehtävissä.
Lähde: Habr — хаб ИИ —
Alkuperäinen