ConvApparel: измерение и преодоление разрыва реалистичности в симуляторах пользователей на основе LLM

Google Research представляет ConvApparel — новый набор данных о разговорах человека и ИИ, а также трехаспектную структуру оценки для количественного измерения и уменьшения «разрыва реалистичности» в симуляторах пользователей на основе больших языковых моделей. Структура включает статистику на уровне популяции, оценку человекообразности и контрфактическую валидацию, применяемые к симуляторам, построенным на моделях Gemini. Результаты показывают, что основанные на данных симуляторы (внутриконтекстное обучение (In-Context Learning, ICL) и точная настройка (Supervised Fine-Tuning, SFT)) превосходят подходы на основе подсказок, но даже лучшие модели все еще демонстрируют тонкие синтетические артефакты.