Google Research: Novo Método para Avaliar Habilidades 'Preparadas para o Futuro' com IA Generativa

O Google Research, em colaboração com a New York University, apresentou o Vantage, um experimento de pesquisa que utiliza IA generativa para avaliar habilidades 'preparadas para o futuro', como pensamento crítico, colaboração e pensamento criativo. O Vantage coloca os alunos em conversas dinâmicas e com vários participantes com avatares de IA para realizar tarefas, enquanto um Executive LLM (Large Language Model, ou modelo de linguagem amplo) conduz o diálogo para coletar informações de avaliação. Um Avaliador de IA analisa então a conversa de acordo com uma rubrica e fornece um mapa detalhado de habilidades com pontuações e feedback qualitativo. Em um estudo com 188 testadores de 18 a 25 anos, as pontuações do Avaliador de IA mostraram concordância com especialistas humanos comparável à confiabilidade entre avaliadores. Um estudo separado com a startup OpenMic em tarefas criativas também mostrou alta correlação entre as pontuações da IA e humanas. O Vantage já está disponível para inscrição no Google Labs em inglês.