TutorMoments: Trợ lý AI có biết khi nào nên giúp và khi nào nên giữ lại?

Hugging Face đã phát hành bản xem trước của TutorMoments, một khung làm việc được thiết kế để đo lường liệu các mô hình ngôn ngữ lớn tiên tiến có thể cân bằng được sự đánh đổi giữa việc giúp đỡ học sinh và việc kiềm chế để khuyến khích suy luận độc lập hay không. Khung làm việc này được xây dựng trên một bộ dữ liệu gồm 462 bản ghi âm đã được ẩn danh từ các buổi dạy kèm toán một-một thực tế với học sinh Mỹ từ lớp 2 đến lớp 7, được chú thích bởi các giáo viên toán giàu kinh nghiệm, những người đã đánh dấu các thời điểm quan trọng khi gia sư phải lựa chọn giữa việc hỗ trợ và việc thúc đẩy sự nghiêm túc. Trong các bài kiểm tra, bảy mô hình ngôn ngữ lớn đã được cung cấp các bản ghi âm cho đến một điểm quyết định và được yêu cầu tiếp tục đóng vai gia sư với một học sinh mô phỏng. Kết quả cho thấy với lời nhắc đơn giản, các mô hình có xu hướng giúp đỡ quá mức, nhưng khi sự đánh đổi được mô tả rõ ràng trong lời nhắc, tất cả các mô hình đều cải thiện, mặc dù vẫn chưa đạt được sự nhất quán như gia sư là con người. Các nhà nghiên cứu đang phát hành bộ dữ liệu, mã nguồn và bản phát lại để tái lập kết quả, đồng thời nhấn mạnh rằng việc đánh giá tự động không thể thay thế các nghiên cứu kết quả học tập thực tế. Dự án nhận được sự hỗ trợ từ Quỹ Gates và Learning Commons.