Prompt Terbukti Lebih Penting dari Model: Eksperimen Pembuatan Surat Lamaran

Seorang pengembang membuat aplikasi yang menghasilkan surat lamaran untuk lowongan pekerjaan menggunakan model lokal (melalui Ollama) atau API cloud, dan memutuskan untuk menguji seberapa besar kualitas teks bergantung pada model. Dia melakukan evaluasi buta dengan seorang teman yang sedang mencari pekerjaan di bidang IT. Percobaan pertama dengan tiga model (qwen2.5:3b, qwen2.5:7b, llama-3.3-70b) menghasilkan tingkat keterkiriman hanya 20–30%, dan model cloud tidak mengungguli model lokal. Analisis mengungkapkan cacat umum: placeholder yang tidak diisi, pengalaman yang dibuat-buat, dan karakter Tionghoa. Ternyata masalahnya ada pada prompt itu sendiri—ditulis dalam bahasa Inggris dan tidak memiliki batasan. Setelah menulis ulang prompt dalam bahasa Rusia, kesalahan mekanis turun dari 25% menjadi kebersihan 100%, tetapi evaluasi manusia tetap nol karena kebosanan. Teman tersebut menunjukkan bahwa surat lamaran dipindai secara diagonal, sehingga kepadatan "pengait" (poin menarik) di awal frasa sangat penting. Setelah sepuluh iterasi, prompt menjelaskan kepada model bagaimana surat dibaca, mensyaratkan baris pertama berbasis fakta, sapaan singkat, dan paragraf terpisah yang membahas kesesuaian pekerjaan. Dengan prompt ini, model lokal (gemma-3-4b, qwen-3.5-4b) mencapai keterkiriman 100% pada tujuh dari delapan surat, sementara Claude Opus 4.8 dan GigaChat-2-Pro mencapai 100% dengan gaya yang lebih hidup. Dalam uji Turing, teman tersebut mengidentifikasi 6 dari 8 surat yang dihasilkan sebagai tulisan manusia. Kesimpulan: prompt menentukan batas bawah, model menaikkan batas atas; pada perangkat keras yang lemah, model lokal 4B sudah menghasilkan surat yang layak.