Google Research : nouvelle méthode pour évaluer les compétences 'prêtes pour l'avenir' avec l'IA générative

Google Research, en collaboration avec l'Université de New York, a présenté Vantage, une expérience de recherche qui utilise l'IA générative pour évaluer des compétences « prêtes pour l'avenir », telles que la pensée critique, la collaboration et la pensée créative. Vantage place les apprenants dans des conversations dynamiques à plusieurs participants avec des avatars IA pour accomplir des tâches, tandis qu'un LLM exécutif oriente le dialogue pour recueillir des informations d'évaluation. Un évaluateur IA analyse ensuite la conversation par rapport à une grille d'évaluation et fournit une carte détaillée des compétences avec des scores et des commentaires qualitatifs. Dans une étude portant sur 188 testeurs âgés de 18 à 25 ans, les scores de l'évaluateur IA ont montré une concordance avec les experts humains comparable à la fiabilité inter-évaluateurs. Une étude distincte menée avec la startup OpenMic sur des tâches créatives a également révélé une corrélation élevée entre la notation IA et humaine. Vantage est désormais disponible pour inscription sur Google Labs en anglais.