Google बड़े भाषा मॉडलों में व्यवहारिक प्रवृत्तियों के संरेखण का मूल्यांकन करता है

Google Research एक ढांचा प्रस्तुत करता है जो एलएलएम में व्यवहारिक प्रवृत्तियों का मूल्यांकन करने के लिए स्थापित मनोवैज्ञानिक प्रश्नावली को स्थितिजन्य निर्णय परीक्षणों में ढालता है। यह ढांचा मॉडलों का परीक्षण यथार्थवादी परिदृश्यों जैसे पेशेवर संयम और संघर्ष समाधान में करता है। 25 एलएलएम के विश्लेषण से पता चलता है कि छोटे मॉडल (25 बिलियन पैरामीटर से कम) में दिशात्मक संरेखण स्पष्ट रूप से कम होता है, अक्सर यादृच्छिक स्तर के करीब, जबकि बड़े सीमांत मॉडल (120 बिलियन से अधिक) सर्वसम्मत मानव सहमति के तहत लगभग पूर्ण संरेखण प्राप्त करते हैं लेकिन कम सहमति होने पर निम्न से मध्य 80 प्रतिशत पर स्थिर हो जाते हैं। मॉडल भावनात्मक खुलेपन को प्रोत्साहित करते हैं जहाँ मनुष्य संयम की सलाह देते हैं, सहयोग को मुखरता पर प्राथमिकता देते हैं, और उच्च आवेगशीलता प्रदर्शित करते हैं। अध्ययन से यह भी पता चलता है कि मॉडल जब मानव एनोटेटर असहमत होते हैं तो व्यवस्थित रूप से अत्यधिक आत्मविश्वासी होते हैं, राय की सीमा को प्रस्तुत करने में विफल रहते हैं। यह सामाजिक गतिशीलता को उचित रूप से नेविगेट करने के लिए बेहतर व्यवहारिक संरेखण की आवश्यकता को उजागर करता है।