Google Research: New Methodology for Assessing 'Future Skills' Using Generative AI

Google Research は、生成AIを活用して「未来のスキル」を評価するための研究実験「Vantage」を発表しました。ニューヨーク大学の教育者や研究者とのパートナーシップのもと開発されたVantageは、高校生や大学生を対象としています。このプラットフォームは、管理された環境でAIアバターとの会話をシミュレートします。ユーザーは、例えば討論の準備や創造的なアイデアのプレゼンテーションといったオープンエンドのシナリオに没入します。エグゼクティブ言語モデル（Executive Large Language Model、以下Executive LLM）は会話の流れを動的に分析し、評価に十分な情報を得るために特定の課題（反論や対立など）を導入します。課題完了後、AIアナライザーがトランスクリプトを検討し、教育的ルーブリックに基づいてスコアを算出し、ユーザーに視覚的なスキル尺度と質的なフィードバックを提供します。188名のボランティア（18〜25歳、アメリカ合衆国）を対象とした共同研究では、AIアナライザーとニューヨーク大学の専門家による評価が比較されました。AIと専門家間の一致度は、専門家同士の一致度と同等でした。また、OpenMic社との研究では、AIアナライザーが180名の学生のクリエイティブな作品（キャラクターインタビュー、記事など）を評価し、専門家の評価との高い相関が示されました。Vantageは現在Google Labsで登録可能で、英語でのみ動作します。開発チームは、シミュレーションから実際の対話へのスキルの転移可能性や、シミュレーション環境での練習効果の評価について、さらなる研究を計画しています。