TutorMoments: weten AI-tutoren wanneer ze moeten helpen en wanneer ze zich moeten inhouden?

Hugging Face heeft een preview uitgebracht van TutorMoments, een raamwerk dat is ontworpen om te meten of geavanceerde LLM's de afweging kunnen balanceren tussen het helpen van een student en het terughouden om onafhankelijk redeneren te stimuleren. Het raamwerk is gebaseerd op een dataset van 462 geanonimiseerde transcripten van echte een-op-een bijles wiskundesessies met Amerikaanse studenten in groep 2 tot en met 7, geannoteerd door ervaren wiskundedocenten die belangrijke momenten markeerden waarop bijlesdocenten moesten kiezen tussen ondersteuning bieden en aandringen op nauwkeurigheid. In tests kregen zeven LLM's transcripten tot aan een beslissingspunt en werd hen gevraagd om door te gaan als de bijlesdocent met een gesimuleerde student. De resultaten toonden aan dat met een eenvoudige prompt de modellen de neiging hadden om te veel te helpen, maar wanneer de afweging expliciet in de prompt werd beschreven, verbeterden alle modellen, hoewel ze nog steeds tekortschoten ten opzichte van de consistentie van menselijke bijlesdocenten. De onderzoekers publiceren de dataset, de code en de replays voor reproduceerbaarheid, en benadrukken dat geautomatiseerde evaluatie onderzoek naar echte leerresultaten niet kan vervangen. Het project ontving steun van de Gates Foundation en Learning Commons.