Google Research: Nieuwe methodologie voor het beoordelen van 'toekomstgerichte vaardigheden' met behulp van generatieve AI

Google Research heeft Vantage geïntroduceerd, een onderzoeksproject om 'toekomstgerichte vaardigheden' te beoordelen met behulp van generatieve AI. Ontwikkeld in samenwerking met docenten en onderzoekers van de New York University, is Vantage bedoeld voor middelbare scholieren en studenten. Het platform simuleert gesprekken met AI-avatars in een gecontroleerde omgeving. Gebruikers komen terecht in open scenario's, zoals de voorbereiding op een debat of het presenteren van een creatief idee. Een uitvoerend taalmodel (Executive Language Model) analyseert dynamisch het verloop van het gesprek en introduceert specifieke uitdagingen — tegenwerpingen, conflicten — om voldoende informatie te verkrijgen voor beoordeling. Na afronding van de taak bestudeert een AI-analysator het transcript en kent punten toe op basis van pedagogische rubrieken, waarbij de gebruiker een visuele vaardighedenschaal en kwalitatieve feedback krijgt. In een gezamenlijk onderzoek met 188 vrijwilligers (18-25 jaar, VS) werden de scores van de AI-analysator vergeleken met die van experts van de New York University. De overeenstemming tussen AI en experts bleek even groot als tussen twee menselijke experts. Ook werd een onderzoek uitgevoerd met het bedrijf OpenMic: de AI-analysator beoordeelde creatieve werken van 180 studenten (interviews met personages, artikelen) — de correlatie met de beoordelingen van experts was hoog. Vantage is nu beschikbaar voor registratie op Google Labs en werkt momenteel in het Engels. De ontwikkelaars plannen verder onderzoek naar de overdraagbaarheid van vaardigheden van simulatie naar echte interacties, evenals de evaluatie van de effectiviteit van oefenen in gesimuleerde omgevingen.