谷歌研究：使用生成式AI评估“未来技能”的新方法

谷歌研究院推出了Vantage——一项利用生成式AI评估“未来技能”的研究性实验。该项目与纽约大学的教育工作者和研究人员合作开发，面向高中生和大学生。平台在受控环境中模拟与AI虚拟角色的对话。用户进入开放式场景，例如准备辩论或展示创意想法。执行语言模型（Executive LLM）动态分析对话进程，并引入特定挑战——如反驳、冲突——以获取足够信息进行评估。任务完成后，AI分析器检查对话记录，根据教学评分标准打分，为用户提供可视化的技能量表及定性反馈。在一项与188名志愿者（18-25岁，美国）合作的研究中，比较了AI分析器与纽约大学专家的评分。AI与专家之间的一致性水平与两位人类专家之间的一致性相当。此外，还与OpenMic公司进行了研究：AI分析器评估了180名学生的创意作品（角色采访、文章）——与专家评分的相关性很高。Vantage现已开放注册，可在Google Labs上使用，目前仅支持英语。开发者计划进一步研究技能从模拟向真实互动的迁移性，以及模拟环境中练习的有效性评估。