ConvApparel: Измерение и устранение разрыва в реалистичности симуляторов пользователей на основе LLM
Google/DeepMind
Исследователи Google представили ConvApparel — набор данных и систему оценки для измерения разрыва в реалистичности симуляторов пользователей на основе LLM. С помощью трёхкомпонентного фреймворка валидации, включающего контрфактуальную валидацию, они показали, что обученные на данных симуляторы значительно превосходят простые промпт-базированные, но разрыв в реалистичности остаётся.
Google Research представила ConvApparel — новый набор данных и систему оценки для измерения «разрыва в реалистичности» симуляторов пользователей на основе LLM. Современные диалоговые агенты ИИ часто испытывают трудности в длинных взаимодействиях, забывая ограничения или генерируя нерелевантные ответы. Обучение таких систем требует непрерывной обратной связи, но использование живых пользователей
Показать ещё ↓
- Сокращения
- LLM = Large Language Model — большая языковая модель
- ICL = In-Context Learning — обучение в контексте
- SFT = Supervised Fine-Tuning — обучение с учителем на подстройку
- CRS = Conversational Recommender System — диалоговая рекомендательная система
Источник: Google Research —
оригинал