Pertanyaan Wawancara NLP Teratas: Arsitektur LLM, Inferensi, dan Optimasi
Mistral
Google/DeepMind
Artikel ini menyediakan daftar periksa topik dan pertanyaan kunci untuk wawancara teknis tentang arsitektur LLM modern dan optimasi inferensi. Ini mencakup perbedaan arsitektural dari Transformer vanilla (Pre-Norm, RMSNorm, SwiGLU, RoPE, GQA/MQA, MoE), menjelaskan mengapa inferensi LLM mahal, dan menjelaskan batching, KV-cache, kuantisasi, dan teknik akselerasi lainnya.
Model LLM generatif modern kebanyakan adalah transformer decoder-only, dengan keluarga seperti GPT, LLaMA, Mistral, Qwen, dan Gemma yang berbeda dalam keterbukaan, jumlah parameter (dari ratusan juta hingga ratusan miliar), detail arsitektur (Dense vs MoE), jenis attention, normalisasi, encoding posisional, spesifikasi MLP, panjang konteks (misalnya, 4k, 32k, 128k token), dukungan multimodal, pelatihan, dan lisensi. Dibandingkan dengan Transformer klasik, LLM modern menggunakan Pre-Norm bukan Post-Norm (pelatihan lebih stabil), RMSNorm bukan LayerNorm (lebih murah), FFN ber-gate SwiGLU (lebih ekspresif tetapi menambah lapisan linear ketiga), embedding posisional RoPE, MQA/GQA bukan multi-head attention penuh, kadang-kadang MoE (mixture of experts) untuk komputasi kondisional, konteks yang lebih panjang, dan optimasi inferensi. Inferensi mahal karena generasi autoregresif membaca semua bobot per token, cache KV bertambah seiring konteks dan batch, dan ada dua fase: prefill (terikat komputasi) dan decode (terikat memori). Trade-off antara latensi (waktu ke token pertama, latensi antar-token) dan throughput adalah kunci; teknik optimasi meliputi cache KV, paged attention, continuous batching, decoding spekulatif, kuantisasi, dan distilasi.
Sumber: Habr — хаб ИИ —
asli