MarathonMemBench: आपके LLM एजेंट की मेमोरी के परीक्षण के लिए एक नया बेंचमार्क

यह लेख MarathonMemBench का परिचय देता है, जो LLM एजेंटों की दीर्घकालिक स्मृति के मूल्यांकन के लिए एक मंच है। लेखक का तर्क है कि ट्रांसफॉर्मर-आधारित मॉडलों की सीमित संदर्भ विंडो एक मौलिक सीमा है, और एजेंटों को इसे दूर करने के लिए बाहरी मेमोरी टूल्स, जैसे फ़ाइलों में लिखना, का उपयोग करना चाहिए। मौजूदा मेमोरी बेंचमार्क की आलोचना की जाती है क्योंकि उन्हें एजेंटों को विशेष रूप से अनुकूलित करने की आवश्यकता होती है: ऑफ-पॉलिसी बेंचमार्क (जैसे LoCoMo, LongMemEval, MemoryAgentBench, BEAM) पूर्व-रिकॉर्ड किए गए संवाद लोड करते हैं, जबकि ऑन-पॉलिसी बेंचमार्क (जैसे AMemGym, MEMPROBE, MemoryArena, STATE-Bench, MemGym, ClawMark) स्टेट स्नैपशॉट, प्रोग्रामेटिक मेमोरी एक्सेस, या अपने स्वयं के वातावरण में काम करने की मांग करते हैं। इसके बजाय, MarathonMemBench एक मंच के रूप में चलता है जहाँ एक LLM व्यक्तित्व घंटों तक एजेंट के साथ बातचीत करता है, तथ्य प्रस्तुत करता है, उन्हें बदलता है, और अंत में स्मरण का परीक्षण करता है। इसके लिए केवल एजेंट के पास चैट इंटरफ़ेस होना आवश्यक है। लेख मौजूदा बेंचमार्क, मंच की वास्तुकला, और ओपन-सोर्स एजेंटों के परिणामों को कवर करने वाले भविष्य के अनुभागों की योजना बनाता है, जो आश्चर्यजनक रूप से मजबूत थे।