कॉन्टेक्स्ट इंजीनियरिंग: यह क्या है, LLM एजेंट कॉन्टेक्स्ट के साथ कैसे काम करें, और आपको इसके लिए भुगतान क्यों मिलता है

संदर्भ इंजीनियरिंग (कॉन्टेक्स्ट इंजीनियरिंग) एलएलएम इनफरेंस के दौरान इष्टतम संदर्भ (ऑप्टिमल कॉन्टेक्स्ट) इकट्ठा करने और बनाए रखने की रणनीतियों का एक समूह है, जहां इष्टतम संदर्भ उपयोगी टोकन (टोकन) का न्यूनतम सेट है। यह प्रॉम्प्ट इंजीनियरिंग (प्रॉम्प्ट इंजीनियरिंग) से भिन्न है, जो केवल निर्देशों (इंस्ट्रक्शन) को संभालती है, जबकि संदर्भ इंजीनियरिंग मॉडल को निर्देश के साथ मिलने वाली हर चीज़ का प्रबंधन करती है: इतिहास, दस्तावेज़, उपकरण, मेमोरी और स्थिति। आरएजी (RAG) बाहरी ज्ञान लाता है, एमसीपी (MCP) डेटा और उपकरणों के कनेक्शन को मानकीकृत करता है, और संदर्भ इंजीनियरिंग यह तय करती है कि एजेंट (एजेंट) के अगले चरण के लिए इन सबको संदर्भ में कैसे जोड़ा जाए। एक एजेंट के संदर्भ में कई परतें होती हैं: उपयोगकर्ता क्वेरी, सिस्टम प्रॉम्प्ट, उपकरण, कुछ-शॉट उदाहरण (फ्यू-शॉट एग्ज़ाम्पल), आरएजी से डेटा, संदेश इतिहास और उपकरण कॉल, मेमोरी, और वर्तमान स्थिति (स्क्रैचपैड)। हालाँकि आधुनिक एलएलएम (LLM) में बड़े संदर्भ विंडो (कॉन्टेक्स्ट विंडो) होते हैं, क्रोमा (Chroma) की रिपोर्ट "कॉन्टेक्स्ट रॉट" (कॉन्टेक्स्ट रॉट) ने दिखाया कि जैसे-जैसे उपयोग किया गया संदर्भ बढ़ता है, सरल कार्यों पर भी गुणवत्ता घट सकती है। ड्रू ब्रूनिग (Drew Breunig) ने चार विशिष्ट संदर्भ विफलता परिदृश्यों की पहचान की: संदर्भ विषाक्तता (कॉन्टेक्स्ट पॉइज़निंग) - एक त्रुटि संदर्भ में प्रवेश करती है और दोहराई जाती है, संदर्भ विकर्षण (कॉन्टेक्स्ट डिस्ट्रैक्शन) - आवश्यक जानकारी अप्रासंगिक डेटा के बीच खो जाती है, संदर्भ भ्रम (कॉन्टेक्स्ट कन्फ्यूज़न) - मॉडल समान उपकरणों/दस्तावेज़ों के बीच भ्रमित हो जाता है, और संदर्भ टकराव (कॉन्टेक्स्ट क्लैश) - प्राथमिकता नियमों के बिना परस्पर विरोधी डेटा। लैंगचेन (LangChain) संदर्भ प्रबंधन के लिए चार क्रियाएँ सुझाती है: लिखें (राइट) - महत्वपूर्ण जानकारी को बाहरी स्थिति में सहेजें, चुनें (सेलेक्ट) - प्रासंगिक सामग्री का चयन करें, संपीड़ित करें (कम्प्रेस) - संपीड़ित करें, और अलग करें (आइसोलेट) - एक अलग संदर्भ में ले जाएँ।