Bewertung der Konsistenz von Verhaltenstendenzen in großen Sprachmodellen
Google/DeepMind
Google Research hat ein neues Framework zur Bewertung der Verhaltenstendenzen von großen Sprachmodellen (Large Language Models, LLMs) eingeführt, das auf psychologischen Fragebögen und situativen Tests basiert. Die Analyse von 25 Modellen zeigte, dass kleine Modelle eine geringe Übereinstimmung mit menschlichem Konsens aufweisen, während große Modelle ihr Vertrauen überschätzen, wenn die menschliche Übereinstimmung schwach ist, was auf einen Bedarf an verbesserter Verhaltensabstimmung hinweist.
Google-Forscher haben einen systematischen Bewertungsrahmen für Verhaltenstendenzen großer Sprachmodelle (Large Language Models, LLMs) vorgestellt, der standardmäßige psychologische Fragebögen in groß angelegte situative Tests (Situational Judgement Tests, SJTs) umwandelt. Im Rahmen der Arbeit wurden validierte Instrumente wie der Interpersonal Reactivity Index (IRI, Empathie) und der Emotion Regulation Questionnaire (ERQ, Emotionsregulation) verwendet. Die Modelle wurden anhand realistischer Szenarien getestet, die berufliches Verhalten, Konfliktlösung und alltägliche Aufgaben umfassten. Die Analyse von 25 LLMs ergab zwei Arten von Diskrepanzen: eine Abweichung vom menschlichen Konsens bei hoher Übereinstimmung der Annotatoren sowie eine unzureichende Berücksichtigung der Meinungsvielfalt bei geringem Konsens. Kleine Modelle (weniger als 25 Milliarden Parameter) zeigten eine deutlich schlechtere Übereinstimmung und unterschieden oft nicht zwischen angemessenem Ausdruck oder Unterdrückung von Eigenschaften. Große Modelle (mehr als 120 Milliarden Parameter) erreichten bei einstimmigem Konsens eine nahezu perfekte Übereinstimmung, aber bei einem Konsens unter 90% flachte ihre Leistung bei 80% ab. Eine qualitative Analyse ergab, dass die Modelle dazu neigen, emotionale Offenheit in beruflichen Situationen zu fördern, in denen Menschen Zurückhaltung empfehlen, und in sozialen Auseinandersetzungen Harmonie über die Vertretung des eigenen Standpunkts priorisieren. Zudem wurde eine systematische Überschätzung des Selbstvertrauens festgestellt: Alle 25 Modelle reduzierten ihr Selbstvertrauen nicht, wenn die Übereinstimmung bei Menschen gering war, was gegen das Prinzip des Pluralismus der Verteilungen verstößt. Der Bewertungsrahmen zeigte auch Diskrepanzen zwischen den Selbstauskünften der Modelle und ihrem tatsächlichen Verhalten auf: Beispielsweise geben Modelle oft an, eine geringe Impulsivität zu haben, neigen aber in der Praxis zu impulsiven Handlungen.
Quelle: Google Research —
Original