ИИ склонен к формированию предвзятостей при найме больше, чем люди

Исследователи из Принстонского университета и Чикагского университета провели эксперимент, адаптировав психологическое исследование формирования стереотипов у людей. LLM, включая ChatGPT, Claude, Gemini и другие, участвовали в симуляции найма на 20 должностей (врачи, юристы, няни, уборщики и т. д.) в вымышленном городе. Кандидаты принадлежали к четырем вымышленным этническим группам: Tufa, Aima, Reku и Weki. Модели не знали, что все кандидаты имеют равную вероятность успеха. На основе ранних результатов моделей они быстро начинали закреплять разные группы за разными профессиями: например, после неудачи Aima на должности врача модель избегала нанимать всех Aima врачами и вместо этого назначала их уборщиками. По шкале сегрегации (где 2 — полная сегрегация) люди набрали 0,84, а модели — примерно на 65% выше, причем OpenAI o3 достиг 1,83. Причина в том, что LLM оптимизированы на обобщение из малого количества данных, что полезно для математических задач, но вредно в социальных контекстах. Продвинутые рассуждающие модели (o3, DeepSeek R1) проявляли наибольшую предвзятость. Простой приказ быть справедливым не помогал, но обещание бонуса за разнообразие найма значительно снижало предвзятость. Также предвзятость уменьшалась, когда модели сообщали релевантную личную информацию о кандидатах (возраст, образование), но нерелевантные данные (цвет волос, форма татуировки) не влияли. Исследователи подчеркивают, что по мере внедрения LLM в реальный найм и принятие решений о кредитах или условно-досрочном освобождении необходимо учитывать способность моделей формировать новые, не заложенные людьми предубеждения.