Membangun Set Evaluasi RAG yang Jujur: Cara Mengumpulkan 100-300 Kasus Pertama Tanpa Menipu Diri Sendiri

Penulis berpendapat bahwa tolok ukur publik seperti MTEB dan BEIR tidak menjamin hasil pencarian (retrieval) yang baik untuk tugas-tugas khusus domain, dan data sintetis dapat menghasilkan formulasi yang terlalu rapi. Sebagai gantinya, mereka merekomendasikan untuk membangun set evaluasi manual sebanyak 100-300 kasus, dengan awal yang praktis yaitu 120 kasus yang berasal dari log, dokumentasi, wawancara ahli, dan kandidat sintetis setelah ditinjau. Setiap kasus harus mencakup kolom seperti kueri, skenario, ID dokumen yang diharapkan, rentang bukti emas (gold evidence spans), fakta yang diharapkan, kemampuan untuk dijawab (answerability), dan mengapa hal itu penting. Set tersebut harus dibagi menjadi 6-8 irisan yang mencakup entitas yang tepat, parafrase, bagian yang panjang, tabel, versi, kasus tanpa jawaban, frasa yang buruk, dan skenario sensitif. Pencarian (retrieval) dan pembuatan jawaban (answer generation) harus dievaluasi secara terpisah, dengan metrik pencarian meliputi Recall@k, MRR@k, dan nDCG@k, dan metrik jawaban meliputi keterandalan (groundedness), kelengkapan (completeness), relevansi jawaban, dan penolakan yang benar (correct abstention). Penulis menekankan bahwa untuk irisan tanpa jawaban, recall standar tidak bermakna dan menyarankan adanya gerbang rilis terpisah. Mereka juga memperingatkan agar tidak menggunakan data pelatihan dalam set evaluasi dan menyarankan untuk memvalidasi LLM-sebagai-juri pada subset manual.