Google mengevaluasi keselarasan kecenderungan perilaku dalam model bahasa besar

Google Research mempresentasikan kerangka kerja untuk mengevaluasi kecenderungan perilaku pada Large Language Models (LLM) dengan mengadaptasi kuesioner psikologis yang sudah mapan menjadi tes penilaian situasional. Kerangka kerja ini menguji model dalam skenario realistis seperti ketenangan profesional dan resolusi konflik. Analisis terhadap 25 LLM menunjukkan bahwa model yang lebih kecil (<25 miliar parameter) memiliki keselarasan arah yang jauh lebih rendah, sering kali pada tingkat mendekati kebetulan, sementara model frontier yang lebih besar (>120 miliar) mencapai keselarasan yang hampir sempurna di bawah konsensus manusia yang bulat, tetapi mengalami stagnasi di angka rendah hingga pertengahan 80-an ketika konsensus lebih rendah. Model cenderung mendorong keterbukaan emosional di mana manusia merekomendasikan ketenangan, memprioritaskan harmoni di atas ketegasan, dan menunjukkan impulsivitas yang lebih tinggi. Studi ini juga mengungkapkan bahwa model secara sistematis terlalu percaya diri ketika annotator manusia tidak setuju, gagal mewakili rentang pendapat. Hal ini menyoroti perlunya keselarasan perilaku yang lebih baik untuk menavigasi dinamika sosial secara tepat.