शीर्ष एनएलपी साक्षात्कार प्रश्न: एलएलएम आर्किटेक्चर, इंफेरेंस और ऑप्टिमाइजेशन

आधुनिक जनरेटिव LLM ज़्यादातर डिकोडर-ओनली ट्रांसफॉर्मर होते हैं, जिनमें GPT, LLaMA, Mistral, Qwen और Gemma जैसे परिवार खुलेपन, पैरामीटर संख्या (करोड़ों से लेकर अरबों तक), आर्किटेक्चर विवरण (Dense बनाम MoE), अटेंशन प्रकार, नॉर्मलाइज़ेशन, पोज़िशनल एन्कोडिंग, MLP विशेषताओं, कॉन्टेक्स्ट विंडो लंबाई (जैसे, 4k, 32k, 128k टोकन), मल्टीमॉडल समर्थन, प्रशिक्षण और लाइसेंस में भिन्न होते हैं। क्लासिक ट्रांसफॉर्मर की तुलना में, आधुनिक LLM पोस्ट-नॉर्म के बजाय प्री-नॉर्म का उपयोग करते हैं (अधिक स्थिर प्रशिक्षण), लेयरनॉर्म के बजाय RMSNorm (सस्ता), SwiGLU गेटेड FFN (अधिक अभिव्यंजक लेकिन तीसरी रैखिक परत जोड़ता है), RoPE पोज़िशनल एम्बेडिंग, पूर्ण मल्टी-हेड अटेंशन के बजाय MQA/GQA, कभी-कभी सशर्त गणना के लिए MoE (मिश्रण-ऑफ-एक्सपर्ट्स), लंबा कॉन्टेक्स्ट, और इन्फ़रेंस अनुकूलन। इन्फ़रेंस महंगा है क्योंकि ऑटोरेग्रेसिव जनरेशन प्रति टोकन सभी वज़न पढ़ता है, KV-कैश कॉन्टेक्स्ट और बैच के साथ बढ़ता है, और दो चरण होते हैं: प्रीफिल (कंप्यूट-बाउंड) और डिकोड (मेमोरी-बाउंड)। विलंबता (पहले टोकन का समय, इंटर-टोकन विलंबता) बनाम थ्रूपुट ट्रेड-ऑफ़ महत्वपूर्ण हैं; अनुकूलन तकनीकों में KV-कैश, पेजेड अटेंशन, निरंतर बैचिंग, सट्टेबाज़ी डिकोडिंग, क्वांटाइज़ेशन और डिस्टिलेशन शामिल हैं।