TutorMoments: ¿Sabrán los tutores de IA cuándo ayudar y cuándo contenerse?

Hugging Face ha publicado una vista previa de TutorMoments, un marco diseñado para medir si los modelos de lenguaje de última generación pueden equilibrar el equilibrio entre ayudar a un estudiante y contenerse para fomentar el razonamiento independiente. El marco se basa en un conjunto de datos de 462 transcripciones no identificadas de sesiones reales de tutoría de matemáticas uno a uno con estudiantes estadounidenses de segundo a séptimo grado, anotadas por tutores de matemáticas experimentados que marcaron los momentos clave en los que los tutores debían elegir entre proporcionar andamiaje y exigir rigor. En las pruebas, se dieron a siete modelos de lenguaje transcripciones hasta un punto de decisión y se les pidió que continuaran como tutor con un estudiante simulado. Los resultados mostraron que con una instrucción simple, los modelos tendían a ayudar en exceso, pero cuando se describía explícitamente el equilibrio en la instrucción, todos los modelos mejoraban, aunque aún estaban por debajo de la consistencia de los tutores humanos. Los investigadores están publicando el conjunto de datos, el código y las repeticiones para reproducibilidad, y enfatizan que la evaluación automatizada no puede reemplazar los estudios de resultados de aprendizaje reales. El proyecto recibió apoyo de la Fundación Gates y Learning Commons.