Prompt todettiin tärkeämmäksi kuin malli: Koe saatekirjeen tuottamisessa

Eräs kehittäjä loi sovelluksen, joka tuottaa saatekirjeitä työpaikkahakemuksiin käyttäen paikallista mallia (Ollaman kautta) tai pilvi-APIa, ja päätti testata, kuinka paljon tekstin laatu riippuu mallista. Hän suoritti sokean arvioinnin ystävänsä kanssa, joka oli työnhakijana IT-alalla. Ensimmäinen ajo kolmella mallilla (qwen2.5:3b, qwen2.5:7b, llama-3.3-70b) tuotti vain 20–30 %:n lähetettävyyden, eikä pilvimalli yltänyt paikallisen tason yläpuolelle. Analyysi paljasti yleisiä puutteita: täyttämättömiä paikkamerkkejä, keksittyä työkokemusta ja kiinalaisia merkkejä. Kävi ilmi, että ongelma oli itse kehotteessa – se oli kirjoitettu englanniksi ja siitä puuttuivat rajoitukset. Kun kehote kirjoitettiin uudelleen venäjäksi, mekaaniset virheet vähenivät 25 prosentista sataprosenttiseen puhtauteen, mutta inhimillinen arviointi jäi nollaan tylsyyden vuoksi. Ystävä huomautti, että saatekirjeet luetaan vinosti, joten koukkujen tiheys lauseiden alussa on tärkeää. Kymmenen iteraation jälkeen kehote selitti mallille, miten kirjeitä luetaan, vaati tosiasiapohjaisen ensimmäisen rivin, lyhyen tervehdyksen ja erillisen kappaleen työn sopivuudesta. Tällä kehotteella paikalliset mallit (gemma-3-4b, qwen-3.5-4b) saavuttivat sataprosenttisen lähetettävyyden seitsemässä kahdeksasta kirjeestä, kun taas Claude Opus 4.8 ja GigaChat-2-Pro saavuttivat sataprosenttisen tuloksen elävämmällä tyylillä. Turingin testissä ystävä tunnisti 6 kahdeksasta tuotetusta kirjeestä ihmisen kirjoittamiksi. Johtopäätös: kehote asettaa lattian, malli nostaa kattoa; heikollakin laitteistolla paikallinen 4B-malli tuottaa jo kelvollisia kirjeitä.