Google Research: Neue Methode zur Bewertung von „zukunftsfähigen“ Fähigkeiten mit generativer KI

Google Research hat in Zusammenarbeit mit der New York University Vantage vorgestellt, ein Forschungsexperiment, das generative KI einsetzt, um „zukunftsfähige“ Fähigkeiten wie kritisches Denken, Zusammenarbeit und kreatives Denken zu bewerten. Vantage platziert Lernende in dynamische Gespräche mit mehreren KI-Avataren, um Aufgaben zu erledigen, während eine leitende große Sprachmodell (Large Language Model, LLM) den Dialog steuert, um Bewertungsinformationen zu sammeln. Ein KI-Bewerter analysiert anschließend das Gespräch anhand einer Bewertungsmatrix und erstellt eine detaillierte Fähigkeitskarte mit Punkten und qualitativem Feedback. In einer Studie mit 188 Testpersonen im Alter von 18 bis 25 Jahren stimmten die Bewertungen des KI-Bewerters mit denen menschlicher Experten in einem Maße überein, das mit der Inter-Rater-Reliabilität vergleichbar ist. Eine separate Studie mit dem Startup OpenMic zu kreativen Aufgaben zeigte ebenfalls eine hohe Korrelation zwischen KI- und menschlicher Bewertung. Vantage ist jetzt in Google Labs auf Englisch zur Anmeldung verfügbar.