Google Research: Metode Baru untuk Menilai Keterampilan 'Siap Masa Depan' dengan AI Generatif

Google Research, bekerja sama dengan New York University, meluncurkan Vantage, sebuah eksperimen riset yang memanfaatkan AI generatif untuk menilai keterampilan 'siap masa depan' seperti berpikir kritis, kolaborasi, dan berpikir kreatif. Vantage menempatkan peserta didik dalam percakapan multi-pihak yang dinamis dengan avatar AI untuk menyelesaikan tugas, sementara Executive Large Language Model (LLM) mengarahkan dialog untuk mengumpulkan informasi penilaian. Seorang AI Evaluator kemudian menganalisis percakapan berdasarkan rubrik dan memberikan peta keterampilan terperinci dengan skor serta umpan balik kualitatif. Dalam studi terhadap 188 penguji berusia 18-25 tahun, skor AI Evaluator menunjukkan kesesuaian dengan pakar manusia yang sebanding dengan reliabilitas antar penilai. Studi terpisah dengan startup OpenMic pada tugas-tugas kreatif juga menunjukkan korelasi tinggi antara penilaian AI dan manusia. Vantage kini tersedia untuk pendaftaran di Google Labs dalam bahasa Inggris.