Google Research: Nuevo método para evaluar habilidades 'preparadas para el futuro' con IA generativa

Google Research, en colaboración con la Universidad de Nueva York, ha presentado Vantage, un experimento de investigación que utiliza inteligencia artificial generativa para evaluar habilidades 'preparadas para el futuro', como el pensamiento crítico, la colaboración y el pensamiento creativo. Vantage sitúa a los estudiantes en conversaciones dinámicas multiparticipativas con avatares de inteligencia artificial para completar tareas, mientras un LLM ejecutivo dirige el diálogo para recopilar información de evaluación. Un evaluador de inteligencia artificial analiza posteriormente la conversación según una rúbrica y proporciona un mapa de habilidades detallado con puntuaciones y comentarios cualitativos. En un estudio con 188 evaluadores de entre 18 y 25 años, las puntuaciones del evaluador de inteligencia artificial mostraron concordancia con las de expertos humanos comparable a la fiabilidad entre evaluadores. Un estudio separado con la startup OpenMic sobre tareas creativas también mostró una alta correlación entre las puntuaciones de la inteligencia artificial y las humanas. Vantage ya está disponible para registrarse en Google Labs en inglés.