ConvApparel: LLM-आधारित उपयोगकर्ता सिमुलेटरों में यथार्थता अंतर को मापना और कम करना

गूगल रिसर्च के शोधकर्ताओं, ऑफ़र मेशी और सैली गोल्डमैन ने ConvApparel पेश किया है, जो एक नया डेटासेट और मूल्यांकन ढांचा है जिसे एलएलएम-आधारित उपयोगकर्ता सिम्युलेटरों की यथार्थता को मापने और सुधारने के लिए डिज़ाइन किया गया है। डेटासेट में कपड़ों की खरीदारी डोमेन में 4,000 से अधिक मानव-एआई मल्टी-टर्न वार्तालाप (लगभग 15,000 टर्न) शामिल हैं, जो एक दोहरे-एजेंट प्रोटोकॉल के माध्यम से एकत्र किए गए हैं, जहां उपयोगकर्ताओं को बेतरतीब ढंग से एक सहायक 'गुड' एजेंट या जानबूझकर अनहेल्पफुल 'बैड' एजेंट के पास भेजा गया था। ढांचे में तीन स्तंभ शामिल हैं: जनसंख्या-स्तरीय आँकड़े, एक स्वचालित विभेदक के माध्यम से मानव-समानता स्कोरिंग, और प्रतिकारक सत्यापन। जेमिनी मॉडल परिवार का उपयोग करते हुए, तीन सिम्युलेटरों का परीक्षण किया गया: एक प्रॉम्प्टेड बेसलाइन, एक इन-कॉन्टेक्स्ट लर्निंग (आईसीएल) सिम्युलेटर जिसमें रिट्रीवल-ऑगमेंटेड जनरेशन है, और एक सुपरवाइज़्ड फाइन-ट्यूनिंग (एसएफटी) सिम्युलेटर। परिणामों से पता चला कि डेटा-संचालित सिम्युलेटरों (आईसीएल और एसएफटी) ने प्रॉम्प्टेड बेसलाइन को पीछे छोड़ दिया, जनसंख्या-स्तरीय परीक्षणों में मानव व्यवहार को बारीकी से प्रतिबिंबित किया, लेकिन सभी सिम्युलेटेड वार्तालापों को मानव-समानता विभेदक द्वारा आत्मविश्वास से सिंथेटिक के रूप में पहचाना गया। प्रतिकारक सत्यापन ने प्रदर्शित किया कि आईसीएल और एसएफटी सिम्युलेटर बढ़ती हुई निराशा दिखाकर अदृश्य 'बैड' एजेंट के अनुकूल हो सकते हैं, जबकि प्रॉम्प्टेड बेसलाइन अप्राकृतिक रूप से विनम्र बना रहा। शोध लगातार यथार्थता की कमी को उजागर करता है और इसे पाटने के लिए उपकरण प्रदान करता है।