LLM चैटबॉट में कमी: उद्देश्य की भावना

LLM चैटबॉट लगातार बेहतर हो रहे हैं, लेकिन उनकी प्रगति को MMLU, HumanEval और MATH जैसे बेंचमार्क से मापा जाता है, जो एकल-उत्तर प्रतिक्रियाओं का परीक्षण करते हैं। हालांकि, वास्तविक दुनिया के कार्य, जैसे यात्रा योजना बनाना या GitHub मुद्दों को स्वचालित करना, आवश्यकता परिशोधन के साथ बहु-चरणीय संवाद की मांग करते हैं। शोधकर्ताओं ने दिखाया है कि LLaMA2-chat-70B और GPT-3.5-turbo-16k जैसे उन्नत मॉडल भी लगभग 1.6 हजार टोकन (लगभग 16 दौर) के बाद सिस्टम प्रॉम्प्ट का पालन करना छोड़ देते हैं। इसकी पुष्टि एक प्रयोग से होती है जिसमें दो LLM एजेंटों ने एक-दूसरे से संवाद किया, और फिर जांचा गया कि प्रत्येक ने अपने निर्देश का कितना अच्छा पालन किया। समस्या यह है कि Reinforcement Learning from Human Feedback (RLHF) के माध्यम से प्रशिक्षण बहु-चरणीय योजना को ध्यान में नहीं रखता—यह दीर्घकालिक लक्ष्यों के बजाय एकल-उत्तर प्रतिक्रियाओं को अनुकूलित करता है। लेखक एक 'लक्ष्य-निर्देशित संवाद' दृष्टिकोण प्रस्तावित करता है, जहाँ चैटबॉट एक सहायक के रूप में कार्य करता है जो धीरे-धीरे उपयोगकर्ता के इरादों को स्पष्ट करता है। ऐसी प्रणालियों के उदाहरणों में 'समाधान-उन्मुख संवाद' और Sotopia प्लेटफॉर्म शामिल हैं, जो सहयोगी निर्णय-निर्माण का मॉडल बनाते हैं। वास्तविक सहायक बनाने के लिए, हमें केवल टेक्स्ट उत्पन्न करने की नहीं, बल्कि संवादों को लक्ष्य-निर्देशित खेलों के रूप में डिज़ाइन करने की आवश्यकता है, जहाँ प्रत्येक उच्चारण वार्ताकार के विश्व मॉडल को बदलता है।