TutorMoments: क्या AI ट्यूटर जानते हैं कि कब मदद करनी है और कब पीछे हटना है?

हगिंग फेस ने TutorMoments का प्रीव्यू जारी किया है, जो एक फ्रेमवर्क है जिसे यह मापने के लिए डिज़ाइन किया गया है कि क्या अत्याधुनिक LLM छात्र की मदद करने और स्वतंत्र तर्क को प्रोत्साहित करने के लिए पीछे हटने के बीच संतुलन बना सकते हैं। यह फ्रेमवर्क अमेरिका के ग्रेड 2-7 के छात्रों के साथ वास्तविक एक-पर-एक गणित ट्यूशन सत्रों के 462 डी-आइडेंटिफाइड ट्रांसक्रिप्ट के डेटासेट पर बनाया गया है, जिसे अनुभवी गणित शिक्षकों द्वारा एनोटेट किया गया है, जिन्होंने प्रमुख क्षणों को चिह्नित किया है जहां ट्यूटर्स को स्कैफोल्डिंग और कठोरता के लिए दबाव डालने के बीच चयन करना था। परीक्षणों में, सात LLM को निर्णय बिंदु तक ट्रांसक्रिप्ट दिए गए थे और एक अनुकरणीय छात्र के साथ ट्यूटर के रूप में जारी रखने के लिए कहा गया था। परिणामों से पता चला कि सादे प्रॉम्प्ट के साथ, मॉडल अत्यधिक मदद करते हैं, लेकिन जब ट्रेड-ऑफ को प्रॉम्प्ट में स्पष्ट रूप से वर्णित किया गया था, तो सभी मॉडलों में सुधार हुआ, हालांकि वे अभी भी मानव ट्यूटर्स की स्थिरता से कम हैं। शोधकर्ता प्रतिलिपि प्रस्तुतीकरण के लिए डेटासेट, कोड और रीप्ले जारी कर रहे हैं, और इस बात पर जोर देते हैं कि स्वचालित मूल्यांकन वास्तविक सीखने के परिणाम अध्ययनों की जगह नहीं ले सकता। इस परियोजना को गेट्स फाउंडेशन और लर्निंग कॉमन्स से समर्थन मिला।