Google Research : nouvelle méthodologie pour évaluer les « compétences du futur » avec l'IA générative

Google Research a dévoilé Vantage, un projet de recherche expérimental visant à évaluer les « compétences du futur » à l'aide de l'IA générative. Développé en partenariat avec des enseignants et des chercheurs de l'Université de New York, Vantage est destiné aux lycéens et aux étudiants. La plateforme simule des conversations avec des avatars IA dans un environnement contrôlé. Les utilisateurs se retrouvent dans des scénarios ouverts, comme la préparation à un débat ou la présentation d'une idée créative. Un modèle de langage exécutif (Executive LLM) analyse dynamiquement le déroulement de la conversation et introduit des défis spécifiques — objections, conflits — afin d'obtenir suffisamment d'informations pour l'évaluation. Une fois la tâche terminée, un analyseur IA étudie la transcription et attribue des scores selon des rubriques pédagogiques, fournissant à l'utilisateur une échelle visuelle de compétences et un retour qualitatif. Dans une étude conjointe avec 188 volontaires (18-25 ans, États-Unis), les scores de l'analyseur IA ont été comparés à ceux d'experts de l'Université de New York. La concordance entre l'IA et les experts était équivalente à celle entre deux experts humains. Une autre étude a été menée avec l'entreprise OpenMic : l'analyseur IA a évalué les travaux créatifs de 180 étudiants (interviews de personnages, articles) — la corrélation avec les évaluations d'experts était élevée. Vantage est désormais accessible via inscription sur Google Labs et fonctionne actuellement en anglais. Les développeurs prévoient de poursuivre les recherches sur la transférabilité des compétences de la simulation aux interactions réelles, ainsi que sur l'efficacité de la pratique dans des environnements simulés.