Skalierung des LLM-Trainings: Von einem einzelnen Chip bis zum Rechenzentrum. Kapitel 4. Training eines Transformers
Das Kapitel untersucht vier Arten von Parallelität für das Training von Transformatoren auf mehreren Beschleunigern: Datenparallelität, vollständig fragmentierte Datenparallelität (FSDP), Tensorparallelität und Pipeline-Parallelität. Es diskutiert ihre Vor- und Nachteile sowie den Zeitpunkt ihrer Kombination und betont die Bedeutung einer rechengebundenen Leistung für die Skalierbarkeit.
Der Artikel erklärt, wie man einen Transformer effizient und in großem Maßstab trainiert. Er führt Notationen für Modellabmessungen (D, F, B, T, L) und Hardware (C, W, X, Y, Z) ein. Die vier Parallelisierungsarten werden beschrieben: Datenparallelismus teilt den Batch über Beschleuniger auf, erfordert AllReduce für die Gradientenaggregation und ist effektiv, wenn das Modell in einen Beschleuniger passt. FSDP (Zero Redundancy Optimizer, kurz ZeRO) verteilt Modellgewichte, Gradienten und Optimierzustände auf mehrere Geräte und verwendet AllGather und ReduceScatter; es ist rechengebunden bei kleinen Batchgrößen. Tensorparallelismus teilt Gewichtsmatrizen auf und tauscht Aktivierungen aus; am besten kombiniert man ihn mit FSDP, um die Aktivierungsgröße im Verhältnis zu den Gewichten zu reduzieren. Pipelineparallelismus teilt das Modell über Schichten auf, minimiert den Datentransfer, führt aber zu „Pipeline-Blasen“, die durch Mikrobatching oder Überlappung von Berechnungen gemildert werden können. Der Artikel merkt an, dass die Kombination aus FSDP und TP fast immer rechengebunden ist und Pipelining bei GPU-Clustern üblich ist. Abschließend wird festgestellt, dass das Ziel darin besteht, zu skalieren und gleichzeitig den Overhead zu verwalten.
Quelle: Habr — хаб ИИ —
Original