Beoordeling van de Consistentie van Gedragstendensen in Grote Taalmodellen

Onderzoekers van Google hebben een systematisch beoordelingskader geïntroduceerd voor gedragstendensen van grote taalmodellen (large language models, LLM's). Dit kader zet standaard psychologische vragenlijsten om in grootschalige situationele tests (situational judgment tests, SJT's). Voor het onderzoek werden gevalideerde instrumenten zoals de Interpersoonlijke Reactiviteitsindex (Interpersonal Reactivity Index, IRI) voor empathie en de Emotieregulatievragenlijst (Emotion Regulation Questionnaire, ERQ) gebruikt. De modellen werden getest op realistische scenario's, waaronder professioneel gedrag, conflictoplossing en alledaagse taken. Uit analyse van 25 LLM's kwamen twee typen discrepanties naar voren: afwijking van menselijke consensus bij hoge overeenstemming tussen beoordelaars en onvoldoende weerspiegeling van meningsdiversiteit bij lage consensus. Kleine modellen (minder dan 25 miljard parameters) vertoonden significant slechtere overeenstemming en maakten vaak geen onderscheid tussen passende expressie of onderdrukking van kenmerken. Grote modellen (meer dan 120 miljard parameters) bereikten bij unanimiteit bijna perfecte overeenstemming, maar bij consensus onder de 90% stabiliseerden hun scores op 80%. Kwalitatieve analyse toonde aan dat modellen de neiging hebben emotionele openheid te stimuleren in professionele situaties waarin mensen terughoudendheid aanbevelen, en in sociale geschillen prioriteit geven aan harmonie boven het verdedigen van een standpunt. Ook werd een systematische overschatting van zelfvertrouwen gevonden: geen van de 25 modellen verlaagde de zekerheid bij lage menselijke consensus, wat het principe van pluralisme in verdelingen schendt. Het kader bracht ook discrepanties aan het licht tussen zelfrapportages van modellen en hun feitelijke gedrag: modellen rapporteren bijvoorbeeld vaak een lage impulsiviteit, maar vertonen in de praktijk neiging tot impulsieve acties.