Google bewertet die Ausrichtung von Verhaltenstendenzen in großen Sprachmodellen

Google Research stellt ein Framework zur Bewertung von Verhaltenstendenzen in großen Sprachmodellen (Large Language Models, LLMs) vor, indem es etablierte psychologische Fragebögen in situative Urteilstests umwandelt. Das Framework testet Modelle in realistischen Szenarien wie professioneller Gelassenheit und Konfliktlösung. Die Analyse von 25 LLMs zeigt, dass kleinere Modelle (weniger als 25 Milliarden Parameter) eine deutlich geringere Richtungsübereinstimmung aufweisen, oft nahe dem Zufallsniveau, während größere Frontier-Modelle (über 120 Milliarden Parameter) bei einstimmigem menschlichem Konsens nahezu perfekte Übereinstimmung erreichen, bei geringerem Konsens jedoch auf niedrigen bis mittleren 80 Prozent stagnieren. Modelle neigen dazu, emotionale Offenheit zu fördern, wo Menschen Gelassenheit empfehlen, Harmonie über Durchsetzungsvermögen zu priorisieren und eine höhere Impulsivität aufzuweisen. Die Studie zeigt auch, dass Modelle systematisch übermütig sind, wenn menschliche Annotatoren uneinig sind, und es versäumen, die Bandbreite der Meinungen abzubilden. Dies unterstreicht die Notwendigkeit einer besseren Verhaltensausrichtung, um soziale Dynamiken angemessen zu navigieren.