Ölçeklendirme Büyük Dil Modeli Eğitimi: Tek Bir Çipten Veri Merkezine. Bölüm 4. Transformer Eğitimi
Bu bölüm, birden fazla hızlandırıcıda Transformer eğitimi için dört paralellik türünü inceliyor: veri paralelliği, tamamen parçalanmış veri paralelliği (FSDP), tensör paralelliği ve boru hattı paralelliği. Bunların avantajlarını, dezavantajlarını ve ne zaman birleştirileceklerini tartışıyor; ölçeklenebilirlik için hesaplama sınırlı performans elde etmenin önemini vurguluyor.
Makale, bir transformatörün verimli ve büyük ölçekte nasıl eğitileceğini açıklamaktadır. Model boyutları (D, F, B, T, L) ve donanım (C, W, X, Y, Z) için notasyon tanıtır. Dört paralellik türü açıklanmaktadır: veri paralelliği, yığını hızlandırıcılar arasında böler ve gradyan birleştirme için AllReduce gerektirir; model bir hızlandırıcıya sığdığında etkilidir. FSDP (Sıfır) model ağırlıklarını, gradyanları ve optimize edici durumlarını parçalara ayırır, AllGather ve ReduceScatter kullanır ve küçük parti boyutlarıyla hesaplama sınırlıdır. Tensör paralelliği, ağırlık matrislerini parçalara ayırır, aktivasyonları değiştirir ve aktivasyon boyutunu ağırlıklara göre azaltmak için FSDP ile birleştirildiğinde en iyisidir. Pipeline paralelliği, modeli katmanlara böler, veri aktarımını en aza indirir ancak 'pipeline kabarcıkları' getirir; bunlar mikro parti veya örtüşen hesaplamalarla azaltılabilir. Makale, FSDP+TP kombinasyonunun neredeyse her zaman hesaplama sınırlı olduğunu ve pipelining'in GPU kümeleri için yaygın olduğunu belirtmektedir. Sonuç olarak, genel giderleri yönetirken ölçeklendirmenin hedef olduğunu söyler.
Kaynak: Habr — хаб ИИ —
orijinal