TutorMoments: Tietävätkö tekoälytutorit, milloin auttaa ja milloin pidättäytyä?

Hugging Face on julkaissut esikatselun TutorMomentsista, joka on viitekehys, joka on suunniteltu mittaamaan, pystyvätkö huippuluokan suuret kielimallit tasapainottamaan auttamisen ja pidättäytymisen välistä kompromissia edistääkseen itsenäistä päättelyä. Viitekehys perustuu tietoaineistoon, jossa on 462 anonymisoitua transkriptiota oikeista yksilöllisistä matematiikan opetustuokioista yhdysvaltalaisten oppilaiden kanssa luokilta 2–7. Kokeneet matematiikan opettajat ovat annotoineet aineiston ja merkinneet keskeiset hetket, joissa opettajan on täytynyt valita tukemisen ja tiukkuuden vaatimisen välillä. Testeissä seitsemälle suurelle kielimallille annettiin transkriptioita aina päätöspisteeseen saakka ja pyydettiin jatkamaan opettajan roolissa simuloidun oppilaan kanssa. Tulokset osoittivat, että pelkällä kehotuksella mallit taipuivat yliauttamiseen, mutta kun kompromissi kuvattiin nimenomaisesti kehotuksessa, kaikki mallit paransivat suoritustaan, joskin ne jäivät edelleen jälkeen ihmisopettajien johdonmukaisuudesta. Tutkijat julkaisevat tietoaineiston, koodin ja toistot toistettavuutta varten ja korostavat, että automaattinen arviointi ei voi korvata todellisia oppimistulostutkimuksia. Hanke sai tukea Gates-säätiöltä ja Learning Commonsilta.