Масштабирование обучения LLM: от одного чипа до дата-центра. Глава 4. Обучение трансформера
В главе рассматриваются четыре типа параллелизма для обучения трансформеров на нескольких ускорителях: параллелизм данных, полностью сегментированный параллелизм данных (FSDP), тензорный параллелизм и конвейерный параллелизм. Обсуждаются их преимущества, недостатки и случаи, когда их следует комбинировать, с акцентом на важность достижения вычислительно-ограниченной производительности для масштабируемости.
В статье объясняется, как эффективно обучать трансформер в большом масштабе. Вводятся обозначения для размерностей модели (D, F, B, T, L) и аппаратного обеспечения (C, W, X, Y, Z). Описываются четыре типа параллелизма: параллелизм данных (data parallelism) разбивает батч между ускорителями, требуя операции AllReduce для агрегации градиентов, и эффективен, когда модель целиком помещается на одном
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал