Google Research: New Methodology for Assessing 'Future Skills' Using Generative AI

Google Research merilis Vantage, sebuah eksperimen riset untuk mengevaluasi "keterampilan masa depan" menggunakan AI generatif. Dikembangkan dalam kemitraan dengan pendidik dan peneliti dari New York University, Vantage dirancang untuk siswa sekolah menengah atas dan mahasiswa. Platform ini mensimulasikan percakapan dengan avatar AI dalam lingkungan yang terkendali. Pengguna dihadapkan pada skenario terbuka, seperti persiapan debat atau presentasi ide kreatif. Executive Large Language Model (Executive LLM) secara dinamis menganalisis jalannya percakapan dan memperkenalkan tantangan tertentu—seperti keberatan, konflik—untuk mengumpulkan informasi yang cukup guna penilaian. Setelah tugas selesai, penganalisis AI meninjau transkrip dan memberikan skor berdasarkan rubrik pedagogis, memberikan pengguna skala keterampilan visual dan umpan balik kualitatif. Dalam studi bersama dengan 188 sukarelawan (usia 18-25 tahun, AS), skor dari penganalisis AI dibandingkan dengan skor dari pakar New York University. Konsistensi antara AI dan pakar setara dengan konsistensi antara dua pakar manusia. Studi lain juga dilakukan dengan perusahaan OpenMic: penganalisis AI mengevaluasi karya kreatif dari 180 siswa (wawancara karakter, artikel)—korelasinya dengan penilaian pakar sangat tinggi. Vantage kini tersedia untuk pendaftaran di Google Labs dan saat ini beroperasi dalam bahasa Inggris. Pengembang berencana untuk melakukan penelitian lebih lanjut tentang transferabilitas keterampilan dari simulasi ke interaksi nyata, serta mengevaluasi efektivitas latihan di lingkungan simulasi.