Google Research: Nueva metodología para evaluar 'Habilidades del Futuro' usando IA Generativa

Google Research ha presentado Vantage, un experimento de investigación para evaluar las 'habilidades del futuro' mediante IA generativa. Desarrollado en colaboración con educadores e investigadores de la Universidad de Nueva York, Vantage está dirigido a estudiantes de secundaria y universitarios. La plataforma simula conversaciones con avatares de IA en un entorno controlado. Los usuarios se enfrentan a escenarios abiertos, como prepararse para un debate o presentar una idea creativa. Un modelo de lenguaje ejecutivo (Executive LLM) analiza dinámicamente el progreso de la conversación e introduce desafíos específicos (objeciones, conflictos) para obtener información suficiente para la evaluación. Al finalizar la tarea, un analizador de IA examina la transcripción y asigna puntuaciones según rúbricas pedagógicas, proporcionando al usuario una escala visual de habilidades y retroalimentación cualitativa. En un estudio conjunto con 188 voluntarios (de 18 a 25 años, EE. UU.), se compararon las puntuaciones del analizador de IA con las de expertos de la Universidad de Nueva York. La concordancia entre la IA y los expertos fue similar a la existente entre dos expertos humanos. También se realizó un estudio con la empresa OpenMic: el analizador de IA evaluó trabajos creativos de 180 estudiantes (entrevistas con personajes, artículos), y la correlación con las evaluaciones de los expertos fue alta. Vantage ya está disponible para registro en Google Labs y actualmente funciona en inglés. Los desarrolladores planean investigar más a fondo la transferibilidad de las habilidades de la simulación a interacciones reales, así como la efectividad de la práctica en entornos simulados.