Google Research: Nova Metodologia para Avaliar 'Habilidades do Futuro' Usando IA Generativa

Google Research lançou o Vantage, um experimento de pesquisa que usa IA generativa para avaliar "habilidades do futuro". Desenvolvido em parceria com educadores e pesquisadores da Universidade de Nova York, o Vantage é voltado para alunos do ensino médio e universitários. A plataforma simula conversas com avatares de IA em um ambiente controlado. Os usuários enfrentam cenários abertos, como se preparar para debates ou apresentar uma ideia criativa. Um Modelo de Linguagem Executivo (Executive LLM) analisa dinamicamente o andamento da conversa e introduz desafios específicos — objeções, conflitos — para obter informações suficientes para a avaliação. Ao final da tarefa, um analisador de IA examina a transcrição e atribui pontuações com base em rubricas pedagógicas, fornecendo ao usuário uma escala visual de habilidades e feedback qualitativo. Em um estudo conjunto com 188 voluntários (18-25 anos, EUA), as notas do analisador de IA foram comparadas às de especialistas da Universidade de Nova York. A concordância entre IA e especialistas foi equivalente à entre dois especialistas humanos. Também foi realizado um estudo com a empresa OpenMic: o analisador de IA avaliou trabalhos criativos de 180 estudantes (entrevistas com personagens, artigos) — a correlação com as avaliações dos especialistas foi alta. O Vantage já está disponível para cadastro no Google Labs e atualmente funciona em inglês. Os desenvolvedores planejam novas pesquisas sobre a transferibilidade das habilidades da simulação para interações reais, bem como a avaliação da eficácia da prática em ambientes simulados.