Google Research: New Methodology for Assessing 'Future Skills' Using Generative AI

Google Research, Vantage’ı tanıttı; bu, gelecekteki becerileri üretken yapay zeka ile değerlendirmek için bir araştırma deneyi. New York Üniversitesi’nden eğitimciler ve araştırmacılarla ortaklaşa geliştirilen Vantage, lise ve üniversite öğrencilerine yöneliktir. Platform, kontrollü bir ortamda yapay zeka avatarlarıyla konuşmaları simüle eder. Kullanıcılar, bir tartışmaya hazırlık veya yaratıcı bir fikri sunma gibi açık uçlu senaryolara girer. Yönetici dil modeli (Executive Large Language Model), sohbetin akışını dinamik olarak analiz eder ve belirli zorluklar (itirazlar, çatışmalar) ekleyerek değerlendirme için yeterli bilgiyi toplar. Görev tamamlandığında, bir yapay zeka değerlendiricisi dökümü inceler ve pedagojik rubriklere göre puanlar verir; kullanıcıya görsel bir beceri çubuğu ve niteliksel geri bildirim sağlar. 188 gönüllüyle (ABD’de 18-25 yaş) yapılan ortak çalışmada, yapay zeka değerlendiricisinin puanları New York Üniversitesi uzmanlarının puanlarıyla karşılaştırıldı. Yapay zeka ve uzmanlar arasındaki uyum, iki insan uzman arasındaki uyumla aynıydı. Ayrıca OpenMic şirketiyle bir çalışma yapıldı: yapay zeka değerlendiricisi, 180 öğrencinin yaratıcı çalışmalarını (karakter röportajları, makaleler) değerlendirdi; uzman puanlarıyla yüksek korelasyon gösterdi. Vantage artık Google Labs’ta kayıt için açık ve şu anda yalnızca İngilizce çalışmaktadır. Geliştiriciler, simülasyondan gerçek etkileşimlere beceri transferinin yanı sıra simüle edilmiş ortamlarda pratik yapmanın etkinliği üzerine daha fazla araştırma planlamaktadır.