टोकन क्रैमिंग: आदर्श टेक्स्ट कंप्रेशन अर्थ संरक्षित नहीं करता – AIRI अध्ययन
Meta
EleutherAI
Hugging Face
Google/DeepMind
Alibaba/Qwen
AIRI के शोधकर्ताओं ने प्रदर्शित किया कि टोकन क्रैमिंग विधि, जो 1568 टोकन तक को एक एम्बेडिंग में संपीड़ित करती है, अर्थ संरक्षण की गारंटी नहीं देती: ग्रीडी डिकोडिंग के तहत, सटीकता 99.96% से घटकर 40% हो जाती है। 100% पुनर्निर्माण प्राप्त करने के लिए एक नई विधि, प्रोग्रेसिव क्रैमिंग, प्रस्तावित की गई, लेकिन पाया गया कि पूरी तरह से संपीड़ित एम्बेडिंग भी मॉडल की तर्क क्षमता को क्षीण कर देती है, और इसका कारण ट्रांसफॉर्मर की प्रारंभिक परतों में निहित है।
AIRI शोधकर्ताओं ने टोकन क्रैमिंग विधि का अध्ययन किया, जो एक फ्रोजन LLM के एकल एम्बेडिंग में 99% से अधिक पुनर्निर्माण सटीकता के साथ 1,568 टोकन तक संपीड़ित करती है। हालांकि, टीचर फोर्सिंग से ग्रीडी डिकोडिंग में संक्रमण करने पर, सटीकता 40% तक गिर जाती है, क्योंकि त्रुटियाँ पहले टोकन पर केंद्रित होती हैं। लेखकों ने प्रोग्रेसिव क्रैमिंग प्रस्तावित की, जो एक-एक करके टोकन जोड़कर 100% पुनर्निर्माण की गारंटी देती है। इस विधि का उपयोग करके, उन्होंने विभिन्न मॉडलों की संपीड़न क्षमता मापी: उदाहरण के लिए, Llama-3.1-8B 1,438 टोकन संपीड़ित करता है, और निम्न-आयामी प्रक्षेपण के साथ, 1,697 तक। अनुकूलन प्रक्षेप पथों का अध्ययन करने से पता चला कि वे एक निम्न-आयामी उप-स्थान (30–100 घटकों) में स्थित हैं। मुख्य परिणाम: एक पूरी तरह से संपीड़ित एम्बेडिंग, जब मूल प्रीफिक्स के साथ खिलाया जाता है, तो HellaSwag पर सटीकता को कम कर देता है (Llama के लिए 61.9% से 40.8% तक) और MMLU पर शून्य हो जाता है। इसका कारण प्रारंभिक ट्रांसफॉर्मर परतों में निहित है: अटेंशन नॉकआउट से पता चला कि पहली परतों में अंतर्क्रियाएँ पुनर्निर्माण के लिए आवश्यक हैं, लेकिन समझ में बाधा डालती हैं। संपीड़न क्षमता मॉडल की गहराई और चौड़ाई के साथ नीरस रूप से बढ़ती है। यह भी पाया गया कि किसी टोकन को संपीड़ित करने की कठिनाई उसके सरप्राइज़ल द्वारा अनुमानित होती है।
स्रोत: Habr — хаб ИИ —
मूल