Google Research: New Methodology for Assessing 'Future Skills' Using Generative AI

Google Research가 생성형 AI를 활용해 '미래의 기술'을 평가하는 연구 실험 Vantage를 발표했습니다. 뉴욕대학교의 교육자 및 연구자들과 협력하여 개발된 Vantage는 고등학생과 대학생을 대상으로 합니다. 이 플랫폼은 통제된 환경에서 AI 아바타와의 대화를 시뮬레이션합니다. 사용자는 토론 준비나 창의적인 아이디어 발표와 같은 개방형 시나리오에 참여합니다. 실행 언어 모델(Executive LLM)은 대화 진행을 동적으로 분석하고, 평가에 필요한 충분한 정보를 얻기 위해 반론이나 갈등과 같은 특정 과제를 도입합니다. 과제 완료 후, AI 분석기는 대화 기록을 검토하고 교육적 루브릭에 따라 점수를 매기며, 사용자에게 시각적인 기술 척도와 질적 피드백을 제공합니다. 188명의 자원봉사자(18-25세, 미국)를 대상으로 한 공동 연구에서는 AI 분석기와 뉴욕대학교 전문가의 평가를 비교했습니다. AI와 전문가 간의 일치도는 두 인간 전문가 간의 일치도와 동일한 수준이었습니다. 또한 OpenMic 회사와의 연구에서는 AI 분석기가 180명의 학생의 창의적인 과제(캐릭터 인터뷰, 기사 등)를 평가했으며, 전문가 평가와의 상관관계가 높았습니다. Vantage는 이제 Google Labs에서 등록 가능하며, 현재 영어로 운영되고 있습니다. 개발자들은 시뮬레이션에서 실제 상호작용으로의 기술 전이 가능성에 대한 추가 연구와 시뮬레이션 환경에서의 연습 효과 평가를 계획하고 있습니다.