Google Research: Nieuwe methode om 'toekomstbestendige' vaardigheden te beoordelen met generatieve AI

Google Research heeft in samenwerking met de New York University Vantage geïntroduceerd, een onderzoeksexperiment dat gebruikmaakt van generatieve AI om 'toekomstbestendige' vaardigheden zoals kritisch denken, samenwerking en creatief denken te beoordelen. Vantage plaatst lerenden in dynamische meerpartijengesprekken met AI-avatars om taken uit te voeren, terwijl een Executive LLM de dialoog stuurt om beoordelingsinformatie te verzamelen. Een AI-evaluator analyseert vervolgens het gesprek aan de hand van een rubric en geeft een gedetailleerde vaardighedenkaart met scores en kwalitatieve feedback. In een onderzoek met 188 testers van 18-25 jaar kwamen de scores van de AI-evaluator overeen met die van menselijke experts, vergelijkbaar met de interbeoordelaarsbetrouwbaarheid. Een apart onderzoek met startup OpenMic naar creatieve taken toonde ook een hoge correlatie tussen AI- en menselijke scoring. Vantage is nu beschikbaar voor inschrijving in Google Labs in het Engels.