TutorMoments: AIチューターはいつ助けるべきか、いつ見守るべきかを知っているか？

Hugging Faceは、最先端の大規模言語モデル（LLM）が、生徒を助けることと、独立した推論を促すために手を引くことの間のトレードオフをバランスできるかどうかを測定するために設計されたフレームワーク「TutorMoments」のプレビュー版を公開しました。このフレームワークは、米国の2年生から7年生までの生徒を対象とした実際の1対1の数学個別指導セッションから得られた462件の匿名化された文字起こしのデータセットに基づいており、経験豊富な数学教師が、チューターが足場かけ（スキャフォールディング）と厳格さの追求の間で選択を迫られる重要な瞬間を特定して注釈を付けました。テストでは、7つのLLMに、決定ポイントまでの文字起こしが与えられ、シミュレートされた生徒に対してチューターとして続けるように求められました。結果は、単純なプロンプトでは、モデルが過度に助ける傾向があることを示しましたが、トレードオフがプロンプトで明確に説明されると、すべてのモデルが改善し、それでも人間のチューターの一貫性には及ばないことが分かりました。研究者らは、再現性のためにデータセット、コード、リプレイを公開しており、自動評価が実際の学習成果に関する研究に取って代わることはできないと強調しています。このプロジェクトは、ゲイツ財団とラーニング・コモンズから支援を受けました。