TutorMoments: AI 튜터는 언제 도와주고 언제 기다려야 할지 알고 있을까?

Hugging Face가 TutorMoments의 프리뷰 버전을 공개했습니다. TutorMoments는 최첨단 LLM(대규모 언어 모델)이 학생을 돕는 것과 독립적인 사고를 유도하기 위해 자제하는 것 사이의 균형을 잘 맞출 수 있는지를 측정하기 위해 설계된 프레임워크입니다. 이 프레임워크는 미국 2~7학년 학생들과의 실제 일대일 수학 과외 세션에서 얻은 462개의 비식별화된 대화록 데이터셋을 기반으로 구축되었으며, 경험 많은 수학 교사들이 과외 교사가 스캐폴딩과 엄격함 사이에서 선택해야 했던 중요한 순간들을 표시했습니다. 테스트에서 7개의 LLM에 결정 지점까지의 대화록을 제공하고 시뮬레이션된 학생과 함께 과외 교사 역할을 계속하도록 요청했습니다. 결과는 단순한 프롬프트를 사용했을 때 모델들이 과도하게 도움을 주는 경향이 있었지만, 트레이드오프가 프롬프트에 명시적으로 설명되었을 때 모든 모델이 개선되었으며, 여전히 인간 과외 교사의 일관성에는 미치지 못했습니다. 연구진은 재현성을 위해 데이터셋, 코드, 재생 파일을 공개하고 있으며, 자동화된 평가가 실제 학습 성과 연구를 대체할 수 없다고 강조합니다. 이 프로젝트는 게이츠 재단과 러닝 커먼즈의 지원을 받았습니다.