Google, büyük dil modellerinde davranışsal eğilimlerin uyumunu değerlendiriyor

Google Araştırma, büyük dil modellerinde (LLM) davranışsal eğilimleri değerlendirmek için, yerleşik psikolojik anketleri durumsal yargı testlerine uyarlayan bir çerçeve sunuyor. Çerçeve, modelleri profesyonel soğukkanlılık ve çatışma çözümü gibi gerçekçi senaryolarda test ediyor. 25 LLM üzerinde yapılan analiz, daha küçük modellerin (<25 milyar parametre) belirgin şekilde daha düşük yönsel uyuma sahip olduğunu, genellikle şansa yakın oranlarda olduğunu; daha büyük sınır modellerinin (>120 milyar) ise oybirliğiyle insan fikir birliği altında neredeyse mükemmel uyum sağladığını, ancak fikir birliği daha düşük olduğunda yüzde 80'lerin alt-orta seviyelerinde plato yaptığını gösteriyor. Modeller, insanların soğukkanlılık önerdiği yerlerde duygusal açıklığı teşvik etme, atılganlık yerine uyumu önceliklendirme ve daha yüksek dürtüsellik sergileme eğiliminde. Çalışma ayrıca, insan etiketleyicilerin anlaşmazlığa düştüğü durumlarda modellerin sistematik olarak aşırı güvenli olduğunu ve görüş yelpazesini temsil etmekte başarısız olduğunu ortaya koyuyor. Bu, sosyal dinamiklerde uygun şekilde gezinmek için daha iyi davranışsal uyuma duyulan ihtiyacı vurguluyor.