6 Pelajaran dalam Membuat Tolok Ukur dari Tutorial NeurIPS

Pada tutorial NeurIPS 'The Art of Benchmarking' yang menampilkan penulis SWE-bench, GPQA, dan peneliti dari Google DeepMind, NYU, dan Berkeley, dibahas isu-isu utama dan jebakan dalam pembuatan tolok ukur. Ini mencakup tirani metrik, di mana metrik memiliki titik manis yang memungkinkan model untuk 'meretas' tes, dengan korelasi Pearson gagal mendeteksi titik-titik tersebut. Juga dicatat bahwa menggunakan LLM sebagai sumber evaluasi berbahaya: mereka berkorelasi dengan manusia hanya pada set kalibrasi, dan bias diri menyebabkan hasil sendiri yang meningkat. Satu-satunya pendekatan yang benar adalah menghasilkan contoh-contoh di mana model gagal. Di antara enam kesalahan utama yang dibuat oleh pembuat tolok ukur: meluncurkan tolok ukur dengan akurasi 70-80% pada model teratas (seharusnya menargetkan 0-1%), kurangnya verifikasi untuk multimodalitas sejati dari tugas, ketergantungan pada teori kecerdasan sendiri, kegagalan menyaring spam dari pekerja (hingga 25% jawaban acak), konsentrasi pekerjaan pada satu pekerja lepas, dan mempublikasikan hasil tanpa nilai-p dan interval kepercayaan. Di masa depan, kita membutuhkan tolok ukur dinamis, studi longitudinal tentang dampak LLM pada manusia, kalibrasi pengetahuan model, dan tugas-tugas yang dapat diselesaikan oleh kucing tetapi tidak oleh GPT.