ConvApparel: Đo lường và thu hẹp khoảng cách hiện thực trong các trình mô phỏng người dùng dựa trên LLM

Google Research giới thiệu ConvApparel, một bộ dữ liệu hội thoại người-AI mới và khung đánh giá ba trụ cột để định lượng và giảm 'khoảng cách hiện thực' trong các trình mô phỏng người dùng dựa trên mô hình ngôn ngữ lớn. Khung đánh giá bao gồm thống kê cấp độ dân số, điểm giống người và xác thực phản thực tế, được áp dụng cho các trình mô phỏng xây dựng với mô hình Gemini. Kết quả cho thấy các trình mô phỏng dựa trên dữ liệu (ICL, SFT) vượt trội hơn so với các trình dựa trên lời nhắc, nhưng ngay cả các mô hình tốt nhất vẫn thể hiện các hiện tượng giả tạo tinh vi.