Top NLP-interviewvragen: LLM-architecturen, inferentie en optimalisatie
Mistral
Google/DeepMind
Dit artikel biedt een checklist van belangrijke onderwerpen en vragen voor technische interviews over moderne LLM-architecturen en inferentie-optimalisatie. Het behandelt architectuurverschillen ten opzichte van de klassieke Transformer (Pre-Norm, RMSNorm, SwiGLU, RoPE, GQA/MQA, MoE), legt uit waarom LLM-inferentie duur is, en beschrijft batchen, KV-cache, kwantisatie en andere versnellingstechnieken.
Moderne generatieve LLM's zijn meestal decoder-only-transformatoren, waarbij families als GPT, LLaMA, Mistral, Qwen en Gemma verschillen in openheid, parameteraantal (van honderden miljoenen tot honderden miljarden), architectuurdetails (Dense versus MoE), aandachtsvorm, normalisatie, positionele codering, MLP-specifieke zaken, contextvensterlengte (bijvoorbeeld 4k, 32k, 128k tokens), multimodale ondersteuning, training en licentie. Vergeleken met de klassieke transformator gebruiken moderne LLM's Pre-Norm in plaats van Post-Norm (stabielere training), RMSNorm in plaats van LayerNorm (goedkoper), SwiGLU-gated FFN (expressiever maar voegt een derde lineaire laag toe), RoPE-positionele embeddings, MQA/GQA in plaats van volledige multi-head-aandacht, soms MoE (mixture of experts) voor conditionele berekening, langere context en inferentieoptimalisaties. Inferentie is duur omdat autoregressieve generatie alle gewichten per token leest, de KV-cache groeit met context en batch, en er twee fasen zijn: prefill (rekenintensief) en decode (geheugenintensief). Latentie (tijd tot eerste token, inter-tokenlatentie) versus doorvoer zijn belangrijke afwegingen; optimalisatietechnieken omvatten KV-cache, paged attention, continuous batching, speculatieve decodering, kwantisatie en distillatie.
Bron: Habr — хаб ИИ —
origineel