Empat Pendekatan Utama untuk Mengevaluasi LLM: dari Tolok Ukur hingga Model Juri

Artikel Sebastian Raschka menjelaskan empat pendekatan utama dalam mengevaluasi model bahasa besar (LLM): evaluasi pilihan ganda (misalnya, tolok ukur MMLU), verifikator, papan peringkat (leaderboards), dan LLM-sebagai-hakim. Evaluasi pilihan ganda adalah metode berbasis tolok ukur di mana model menjawab pertanyaan dengan pilihan jawaban, dan akurasi diukur sebagai proporsi jawaban yang benar. Artikel ini mendemonstrasikan implementasi metode ini menggunakan model Qwen3 0,6B dan kode PyTorch: model yang telah dilatih dimuat, prompt yang berisi pertanyaan dan opsi jawaban dibuat, jawaban dihasilkan, dan dibandingkan dengan jawaban yang benar. Untuk contoh dari subset high_school_mathematics pada MMLU, model memberikan jawaban yang salah. Disebutkan bahwa dalam praktiknya, metode berbasis probabilitas log juga digunakan, dan pendekatan yang berbeda diterapkan untuk model penalaran (reasoning models). Verifikator, papan peringkat, dan LLM-sebagai-hakim dibahas secara detail dalam buku penulis 'Build a Reasoning Model (From Scratch).'