Uusi DeepSeek-V3-tekninen raportti: laitteiston ja ohjelmiston yhteissuunnittelu mahdollistaa suurten mallien edullisen koulutuksen
DeepSeek
NVIDIA
Alibaba/Qwen
Meta
Uusi tekninen artikkeli DeepSeek-tiimiltä, jonka toisena kirjoittajana on toimitusjohtaja Wenfeng Liang, tutkii laitteistotietoista mallien yhteissuunnittelua suurten kielimallien koulutuskustannusten vähentämiseksi. Artikkeli käyttää DeepSeek-V3-mallia, joka on koulutettu 2048 NVIDIA H800 -grafiikkasuorittimella, tapaustutkimuksena ja esittelee innovaatioita muistitehokkuudessa (MLA), hajautetussa laskennassa (DeepSeekMoE), FP8-koulutuksessa ja liitäntätietoisessa reitityksessä.
14-sivuinen paperi 'Scaling Challenges and Reflections on Hardware for AI Architectures' analysoi, miten laitteistorajoitukset (muisti, laskentateho, linkkiväylän kaistanleveys) muovaavat suurten kielimallien suunnittelua. DeepSeek-V3 käyttää Multi-head Latent Attention (MLA) -menetelmää, joka pakkaa KV-välimuistin 70 kilotavuun tokenia kohti verrattuna LLaMA-3.1 405B:n 516 kilotavuun. Sen DeepSeekMoE-arkkitehtuuri aktivoi vain 37 miljardia 671 miljardista parametrista tokenia kohti, mikä vähentää tokenin laskentatehon noin 250 gigaflopsiin, kun Qwen2.5-72B vaatii 394 gigaflopsia ja LLaMA-3.1 405B 2448 gigaflopsia. Malli käyttää FP8-sekalukutarkkuuskoulutusta ja LogFMT-alemman tarkkuuden viestintää, mikä vähentää viestintävolyymia 50 prosentilla verrattuna BF16:een. NVIDIA H800:n alhaisemman NVLink-kaistanleveyden (400 Gt/s vs. 900 Gt/s H100:ssa) kompensoimiseksi solmutietoinen reititys jakaa 256 asiantuntijaa 8 solmukohtaiseen ryhmään, rajoittaen kunkin tokenin enintään 4 solmuun. Paperi kannattaa yhtenäistä skaalaus- ja skaalauslinkkien yhteenliitäntää sekä erillisiä viestintä-rinnakkaissuorittimia.
Lähde: Synced —
Alkuperäinen