Avaliando a Consistência de Tendências Comportamentais em Modelos de Linguagem de Grande Porte

Pesquisadores do Google apresentaram um framework sistemático para avaliar tendências comportamentais de grandes modelos de linguagem (LLMs), convertendo questionários psicológicos padrão em testes situacionais (SJTs) em larga escala. No trabalho, foram utilizados instrumentos validados, como o IRI (empatia) e o ERQ (regulação emocional). Os modelos foram testados em cenários realistas envolvendo comportamento profissional, resolução de conflitos e tarefas cotidianas. A análise de 25 LLMs revelou dois tipos de divergências: desvio do consenso humano quando há alta concordância entre anotadores e reflexão insuficiente da diversidade de opiniões quando o consenso é baixo. Modelos pequenos (com menos de 25 bilhões de parâmetros) apresentaram alinhamento significativamente pior, muitas vezes não distinguindo entre expressão ou supressão adequada de traços. Modelos grandes (com mais de 120 bilhões de parâmetros), sob consenso unânime, alcançaram alinhamento quase perfeito, mas com consenso abaixo de 90%, seu desempenho atingiu um platô de 80%. A análise qualitativa mostrou que os modelos tendem a incentivar abertura emocional em situações profissionais onde humanos recomendam contenção, e, em disputas sociais, priorizam a harmonia em detrimento da defesa de posições. Também foi identificada uma superestimação sistemática da confiança: todos os 25 modelos não reduziram a confiança diante de baixo consenso humano, violando o princípio do pluralismo de distribuições. O framework ainda revelou discrepâncias entre os autorrelatos dos modelos e seu comportamento real: por exemplo, modelos frequentemente relatam baixa impulsividade, mas na prática tendem a agir impulsivamente.