ConvApparel: Mengukur dan Menutup Kesenjangan Realisme pada Simulator Pengguna Berbasis LLM

Peneliti dari Google Research, Ofer Meshi dan Sally Goldman, memperkenalkan ConvApparel, sebuah set data dan kerangka evaluasi baru yang dirancang untuk mengukur dan meningkatkan realisme simulator pengguna berbasis LLM. Set data ini terdiri dari lebih dari 4.000 percakapan multi-giliran antara manusia dan AI (hampir 15.000 giliran) dalam domain belanja pakaian, yang dikumpulkan menggunakan protokol dua agen di mana pengguna secara acak diarahkan ke agen 'Baik' yang membantu atau agen 'Buruk' yang sengaja tidak membantu. Kerangka kerja ini mencakup tiga pilar: statistik tingkat populasi, penilaian kemiripan manusia melalui diskriminator otomatis, dan validasi kontrafaktual. Menggunakan keluarga model Gemini, tiga simulator diuji: sebuah dasar yang dipicu (prompted baseline), simulator pembelajaran dalam konteks (in-context learning, ICL) dengan generasi yang ditingkatkan dengan pengambilan (retrieval-augmented generation), dan simulator penyesuaian halus yang diawasi (supervised fine-tuning, SFT). Hasil menunjukkan bahwa simulator berbasis data (ICL dan SFT) mengungguli dasar yang dipicu, sangat mendekati perilaku manusia dalam tes tingkat populasi, tetapi semua percakapan simulasi diidentifikasi dengan yakin sebagai sintetis oleh diskriminator kemiripan manusia. Validasi kontrafaktual menunjukkan bahwa simulator ICL dan SFT dapat beradaptasi dengan agen 'buruk' yang tidak terlihat dengan menunjukkan peningkatan frustrasi, sementara dasar yang dipicu tetap sopan secara tidak wajar. Penelitian ini menyoroti kesenjangan realisme yang persisten dan menyediakan alat untuk menjembataninya.