Opschaling van LLM-training: van één chip tot een datacenter. Hoofdstuk 4. Een transformer trainen
In dit hoofdstuk worden vier vormen van parallellisme besproken voor het trainen van transformers op meerdere accelerators: dataparallellisme, volledig geshard dataparallellisme (FSDP), tensorparallellisme en pipelineparallellisme. De voor- en nadelen van elke vorm komen aan bod, evenals wanneer ze gecombineerd kunnen worden. Daarbij ligt de nadruk op het belang van rekenintensieve prestaties voor schaalbaarheid.
Het artikel legt uit hoe je een transformermodel efficiënt en op grote schaal traint. Het introduceert notatie voor modeldimensies (D, F, B, T, L) en hardware (C, W, X, Y, Z). De vier parallellismetypen worden beschreven: dataparallellisme verdeelt de batch over accelerators, waarvoor AllReduce nodig is voor gradientaggregatie, en is effectief wanneer het model in één accelerator past. FSDP (Zero Redundancy Optimizer, afgekort ZeRO) versnippert modelgewichten, gradients en optimizerstatussen, met behulp van AllGather en ReduceScatter, en is rekenintensief bij kleine batchgroottes. Tensorparallellisme versnippert gewichtsmatrices, wisselt activaties uit, en kan het beste worden gecombineerd met FSDP om de activatiegrootte ten opzichte van de gewichten te verkleinen. Pipelineparallellisme verdeelt het model over lagen, minimaliseert gegevensoverdracht maar introduceert 'pipelinebubbels', die kunnen worden verminderd door microbatchen of het overlappen van berekeningen. Het artikel merkt op dat de combinatie FSDP+TP bijna altijd rekenintensief is, en pipelining komt veel voor bij GPU-clusters. Het concludeert dat het doel is om op te schalen terwijl overhead wordt beheerd.
Bron: Habr — хаб ИИ —
origineel