TutorMoments: знают ли ИИ-тьюторы, когда помочь, а когда воздержаться?

Компания Hugging Face представляет TutorMoments — фреймворк для оценки того, способны ли большие языковые модели (LLM) балансировать между помощью студентам и предоставлением им возможности самостоятельно справляться с трудностями. Основанный на реальных данных репетиторства, он использует ключевые моменты, размеченные учителями, для тестирования ИИ-тьюторов в симулированных сессиях. Предварительные результаты показывают, что модели по умолчанию склонны к чрезмерной помощи, однако явные инструкции улучшают их производительность, хотя она все еще отстает от человеческого суждения.