TutorMoments: Wissen KI-Nachhilfelehrer, wann sie helfen und wann sie sich zurückhalten sollten?

Hugging Face hat eine Vorschau von TutorMoments veröffentlicht, einem Framework, das dazu entwickelt wurde, zu messen, ob hochmoderne LLMs den Trade-off zwischen Hilfestellung für Schüler und Zurückhaltung zur Förderung des eigenständigen Denkens ausbalancieren können. Das Framework basiert auf einem Datensatz von 462 de-identifizierten Transkripten aus echten Einzel-Nachhilfestunden in Mathematik mit US-amerikanischen Schülern der Klassen 2 bis 7, die von erfahrenen Mathematiklehrern annotiert wurden, die Schlüsselmomente markierten, in denen Tutoren zwischen Scaffolding und dem Drängen auf Genauigkeit wählen mussten. In Tests wurden sieben LLMs Transkripte bis zu einem Entscheidungspunkt vorgelegt und gebeten, als Tutor mit einem simulierten Schüler fortzufahren. Die Ergebnisse zeigten, dass die Modelle bei einem einfachen Prompt dazu neigten, übermäßig zu helfen, aber wenn der Trade-off explizit im Prompt beschrieben wurde, verbesserten sich alle Modelle, obwohl sie immer noch hinter der Konsistenz menschlicher Tutoren zurückblieben. Die Forscher veröffentlichen den Datensatz, den Code und Replays für die Reproduzierbarkeit und betonen, dass automatisierte Bewertung keine echten Studien zu Lernergebnissen ersetzen kann. Das Projekt erhielt Unterstützung von der Gates Foundation und dem Learning Commons.