Google Research: Neue Methodik zur Bewertung von Zukunftskompetenzen mit generativer KI

Google Research hat Vantage vorgestellt, ein Forschungsexperiment zur Bewertung von „Zukunftskompetenzen“ mithilfe generativer KI. Entwickelt in Partnerschaft mit Pädagogen und Forschern der New York University, richtet sich Vantage an Oberstufenschüler und College-Studenten. Die Plattform simuliert Gespräche mit KI-Avataren in einer kontrollierten Umgebung. Nutzer werden in offene Szenarien versetzt, beispielsweise die Vorbereitung auf eine Debatte oder die Präsentation einer kreativen Idee. Ein ausführendes Large Language Model (Executive Language Model, Executive LLM) analysiert dynamisch den Gesprächsverlauf und führt gezielt Herausforderungen ein – wie Einwände oder Konflikte – um genügend Informationen für die Bewertung zu sammeln. Nach Abschluss einer Aufgabe untersucht ein KI-Analysator das Transkript und vergibt Punktzahlen basierend auf pädagogischen Rubriken, wobei der Nutzer eine visuelle Skill-Skala und qualitatives Feedback erhält. In einer gemeinsamen Studie mit 188 Freiwilligen (18–25 Jahre, USA) wurden die Bewertungen des KI-Analysators mit denen von Experten der New York University verglichen. Die Übereinstimmung zwischen KI und Experten war genauso hoch wie zwischen zwei menschlichen Experten. Zudem wurde eine Studie mit dem Unternehmen OpenMic durchgeführt: Der KI-Analysator bewertete kreative Arbeiten von 180 Studierenden (Interviews mit Charakteren, Artikel) – die Korrelation mit den Bewertungen der Experten war hoch. Vantage ist nun auf Google Labs zur Registrierung verfügbar und läuft derzeit auf Englisch. Die Entwickler planen weitere Forschungen zur Übertragbarkeit von Fähigkeiten aus der Simulation in reale Interaktionen sowie zur Bewertung der Effektivität von Übungen in simulierten Umgebungen.