TutorMoments: Apakah Tutor AI Tahu Kapan Harus Membantu dan Kapan Menahan Diri?

Hugging Face telah merilis pratinjau dari TutorMoments, sebuah kerangka kerja yang dirancang untuk mengukur apakah model bahasa besar (LLM) yang mutakhir dapat menyeimbangkan antara membantu siswa dan menahan diri untuk mendorong penalaran mandiri. Kerangka kerja ini dibangun di atas kumpulan data yang terdiri dari 462 transkrip yang tidak diidentifikasi dari sesi bimbingan belajar matematika satu lawan satu yang nyata dengan siswa AS di kelas 2-7, yang dianotasi oleh guru matematika berpengalaman yang menandai momen-momen penting di mana tutor harus memilih antara memberikan bimbingan dan mendorong ketelitian. Dalam pengujian, tujuh LLM diberikan transkrip hingga titik pengambilan keputusan dan diminta untuk melanjutkan sebagai tutor dengan siswa yang disimulasikan. Hasilnya menunjukkan bahwa dengan perintah biasa, model cenderung memberikan bantuan berlebihan, tetapi ketika pertukaran tersebut dijelaskan secara eksplisit dalam perintah, semua model meningkat, meskipun masih belum mencapai konsistensi tutor manusia. Para peneliti merilis kumpulan data, kode, dan rekaman untuk reproduktifitas, dan menekankan bahwa evaluasi otomatis tidak dapat menggantikan studi hasil pembelajaran nyata. Proyek ini menerima dukungan dari Yayasan Gates dan Learning Commons.