ConvApparel: Medindo e Fechando a Lacuna de Realismo em Simuladores de Usuário Baseados em LLMs

Google Research представила ConvApparel — новый набор данных и систему оценки для измерения «разрыва в реалистичности» симуляторов пользователей на основе LLM. Современные диалоговые агенты ИИ часто испытывают трудности в длинных взаимодействиях, забывая ограничения или генерируя нерелевантные ответы. Обучение таких систем требует непрерывной обратной связи, но использование живых пользователей дорого и трудно масштабируемо. В качестве альтернативы применяются симуляторы пользователей на основе LLM, однако они страдают от разрыва в реалистичности, проявляя неестественное терпение или энциклопедические знания. ConvApparel включает более 4000 разговоров между людьми и ИИ (около 15000 реплик) в области покупки одежды. Сбор данных велся с использованием двух агентов — полезного («Good») и намеренно бесполезного («Bad»), что позволило зафиксировать широкий спектр человеческих реакций. Для оценки симуляторов разработана трёхкомпонентная система: статистические тесты на уровне популяции, оценка человекоподобия с помощью автоматического дискриминатора и контрфактуальная валидация — симулятор, обученный на хорошем агенте, должен адекватно реагировать на плохого. Три протестированных симулятора (промпт-базированный, ICL, SFT на базе Gemini) показали, что ICL и SFT значительно превосходят промпт-базированный, но даже лучшие SFT-модели создают заметные артефакты. Контрфактуальная валидация выявила, что промпт-базированный симулятор не адаптируется, тогда как ICL и SFT демонстрируют реалистичное раздражение при взаимодействии с плохим агентом. Исследователи подчёркивают, что создание полностью реалистичного симулятора остаётся открытой задачей, а предложенный фреймворк позволяет измерить разрыв, но не определяет необходимую степень реалистичности. ConvApparel предоставлен сообществу для дальнейших исследований.