ABBEL: Training LLMs to Update Beliefs for Efficient Long-term Interaction
Cursor
Alibaba/Qwen
ABBEL is a framework for training language models to update beliefs in the form of textual states, enabling efficient context compression during long-term interactions. The method uses belief grading through observation reconstruction, reducing the gap with full-context models in collaborative programming and other tasks.
BAIR के शोधकर्ताओं ने ABBEL (ऑटोएनकोडर बिलीफ बॉटलनेक फॉर एफिशिएंट लर्निंग) नामक एक फ्रेमवर्क प्रस्तुत किया है, जो लंबे समय तक बातचीत के दौरान LLM के संदर्भ को स्केल करने की समस्या को हल करता है। पारंपरिक रिकर्सिव सारांशीकरण (संदर्भ का संक्षिप्तीकरण) प्रदर्शन को कम कर देता है, विशेष रूप से उन कार्यों में जहां गुणवत्ता वाले डेटा की कमी होती है, जैसे सहयोगात्मक कोड जनरेशन। ABBEL सारांशीकरण जनरेशन के कार्य को अलग करता है और इसे बिलीफ स्टेट्स (बातचीत के इतिहास के पाठ्य प्रतिनिधित्व) के अद्यतन के रूप में तैयार करता है। प्रशिक्षण के लिए बिलीफ ग्रेडिंग का उपयोग किया जाता है: मॉडल को इस बात के लिए प्रोत्साहित किया जाता है कि वर्तमान बिलीफ स्टेट से अंतिम अवलोकन को कितनी अच्छी तरह पुनर्निर्मित किया जा सकता है। CollabBench (सहयोगात्मक प्रोग्रामिंग) वातावरण में, पुनर्निर्माण मूल्यांकन के साथ ABBEL, पूर्ण-संदर्भ मॉडल के साथ अंतर को लगभग 50% तक कम करता है और बिलीफ ग्रेडिंग के बिना प्रशिक्षण की तुलना में दोगुनी तेजी से सीखता है। गेम कॉम्बिनेशन लॉक के सिमुलेशन में, डोमेन ज्ञान का उपयोग करने वाला ग्रेडिंग-आधारित तरीका पूर्ण-संदर्भ मॉडल के प्रदर्शन को प्राप्त या उससे अधिक करता है। बहु-कार्य प्रश्न-उत्तर वातावरण में, पीक बिलीफ पेनल्टी (शिखर बिलीफ दंड) की शुरूआत से गुणवत्ता में महत्वपूर्ण गिरावट के बिना मेमोरी उपयोग में काफी कमी आती है। ABBEL सारांशीकरण पर O(N/K) ओवरहेड का उपयोग करता है, जहाँ N कुल क्रियाओं की संख्या है और K सारांशीकरण रन के बीच क्रियाओं की संख्या है। शोधकर्ताओं का कहना है कि भविष्य में अधिक शक्तिशाली सिस्टम के लिए विभिन्न प्रकार की मेमोरी (कार्यशील, अल्पकालिक और दीर्घकालिक) का संयोजन संभव है।
स्रोत: BAIR (Berkeley AI) —
मूल