TutorMoments: Yapay Zeka Öğretmenleri Ne Zaman Yardım Edeceğini ve Ne Zaman Geri Çekileceğini Biliyor mu?

Hugging Face, son teknoloji LLM'lerin bir öğrenciye yardım etme ile bağımsız düşünmeyi teşvik etmek için geri durma arasındaki dengeyi ölçüp ölçemeyeceğini değerlendirmek için tasarlanmış bir çerçeve olan TutorMoments'ın önizlemesini yayınladı. Çerçeve, ABD'deki 2-7. sınıf öğrencileriyle yapılan gerçek bire bir matematik derslerinden alınan 462 adet kimliği gizlenmiş dökümden oluşan bir veri kümesi üzerine inşa edilmiştir. Bu dökümler, öğretmenlerin iskele kurma ile titizlik arasında seçim yapmak zorunda kaldığı önemli anları işaretleyen deneyimli matematik öğretmenleri tarafından açıklanmıştır. Testlerde, yedi LLM'ye bir karar noktasına kadar dökümler verilmiş ve simüle edilmiş bir öğrenciyle öğretmen olarak devam etmeleri istenmiştir. Sonuçlar, düz bir istemle modellerin aşırı yardım etme eğiliminde olduğunu, ancak takas açıkça istemde tanımlandığında tüm modellerin iyileştiğini, ancak yine de insan öğretmenlerin tutarlılığının gerisinde kaldığını göstermiştir. Araştırmacılar, tekrarlanabilirlik için veri kümesini, kodu ve tekrar oynatımları yayınlıyor ve otomatik değerlendirmenin gerçek öğrenme çıktısı çalışmalarının yerini alamayacağını vurguluyor. Proje, Gates Vakfı ve Learning Commons'tan destek aldı.