تقييم تناسق الميول السلوكية في نماذج اللغة الكبيرة

Исследователи Google представили систематический фреймворк для оценки поведенческих склонностей больших языковых моделей (Large Language Models, LLM), преобразующий стандартные психологические опросники в крупномасштабные ситуационные тесты (Situational Judgment Tests, SJT). В рамках работы были использованы валидированные инструменты, такие как индекс межличностной реактивности (Interpersonal Reactivity Index, IRI) для измерения эмпатии и опросник эмоциональной регуляции (Emotion Regulation Questionnaire, ERQ). Модели тестировались на реалистичных сценариях, включающих профессиональное поведение, разрешение конфликтов и повседневные задачи. Анализ 25 LLM выявил два типа расхождений: отклонение от человеческого консенсуса при высоком согласии аннотаторов и недостаточное отражение разнообразия мнений при низком консенсусе. Маленькие модели (менее 25 миллиардов параметров) показали существенно худшее согласование, часто не различая уместное выражение или подавление черт. Большие модели (более 120 миллиардов параметров) при единогласном консенсусе достигали почти идеального согласования, но при консенсусе ниже 90% их показатели выходили на плато на уровне 80%. Качественный анализ показал, что модели склонны поощрять эмоциональную открытость в профессиональных ситуациях, где люди рекомендуют сдержанность, а в социальных спорах отдают приоритет гармонии над отстаиванием позиции. Также обнаружена систематическая переоценка уверенности: все 25 моделей не снижали уверенность при низком согласии людей, что нарушает принцип плюрализма распределений. Фреймворк также выявил расхождения между самоотчётами моделей и их реальным поведением: например, модели часто сообщают о низкой импульсивности, но на деле склонны к импульсивным действиям.