Top NLP-Interviewfragen: LLM-Architekturen, Inferenz und Optimierung

Moderne generative LLMs sind überwiegend Decoder-only-Transformer, wobei sich Familien wie GPT, LLaMA, Mistral, Qwen und Gemma in Offenheit, Parameteranzahl (von einigen hundert Millionen bis zu einigen hundert Milliarden), Architekturdetails (Dense vs. MoE), Aufmerksamkeitstyp, Normalisierung, Positionskodierung, MLP-Details, Kontextfensterlänge (z. B. 4k, 32k, 128k Tokens), multimodaler Unterstützung, Training und Lizenz unterscheiden. Im Vergleich zum klassischen Transformer verwenden moderne LLMs Pre-Norm anstelle von Post-Norm (stabileres Training), RMSNorm anstelle von LayerNorm (günstiger), SwiGLU-aktivierte FFN (ausdrucksstärker, fügt aber eine dritte lineare Schicht hinzu), RoPE-Positionseinbettungen, MQA/GQA anstelle von vollständiger Multi-Head-Aufmerksamkeit, manchmal MoE (Mixture of Experts) für bedingte Berechnung, längere Kontexte und Inferenzoptimierungen. Die Inferenz ist teuer, da die autoregressive Generierung alle Gewichte pro Token liest, der KV-Cache mit Kontext und Batch wächst und es zwei Phasen gibt: Prefill (rechengebunden) und Decode (speichergebunden). Latenz (Zeit bis zum ersten Token, Inter-Token-Latenz) im Vergleich zum Durchsatz ist ein zentraler Kompromiss; Optimierungstechniken umfassen KV-Cache, Paged Attention, Continuous Batching, spekulative Dekodierung, Quantisierung und Destillation.