LLM-koulutuksen skaalaaminen: Yhdestä sirusta datakeskukseen. Luku 4. Transformerin kouluttaminen
Luvussa tarkastellaan neljää rinnakkaisuuden tyyppiä transformerien kouluttamiseen useilla kiihdyttimillä: datarinnakkaisuus, täysin jaettu datarinnakkaisuus (FSDP), tensoririnnakkaisuus ja putkirinnakkaisuus. Siinä käsitellään niiden etuja, haittoja ja milloin niitä kannattaa yhdistää, korostaen laskentasidonnaisen suorituskyvyn saavuttamisen tärkeyttä skaalautuvuuden kannalta.
Artikkelissa selitetään, miten transformeri koulutetaan tehokkaasti ja suuressa mittakaavassa. Siinä otetaan käyttöön merkinnät mallin mitoille (D, F, B, T, L) ja laitteistolle (C, W, X, Y, Z). Neljä rinnakkaisuuden tyyppiä kuvataan: datarinnakkaisuus jakaa erän kiihdyttimien kesken, mikä vaatii AllReduce-toiminnon gradienttien yhdistämiseen, ja se on tehokasta, kun malli mahtuu yhteen kiihdyttimeen. FSDP (Zero Redundancy Optimizer, eli ZeRO) pilkkoo mallin painot, gradientit ja optimoijan tilat, käyttää AllGather- ja ReduceScatter-toimintoja, ja on laskentasidonnainen pienillä eräkoilla. Tensoririnnakkaisuus pilkkoo painomatriisit, vaihtaa aktivaatioita, ja se on parasta yhdistää FSDP:hen, jotta aktivaatioiden koko pienenee suhteessa painoihin. Pipeline-rinnakkaisuus jakaa mallin kerrosten mukaan, minimoi tiedonsiirron, mutta tuo 'pipeline-kuplia', joita voidaan lieventää mikroerillä tai laskennan päällekkäisyydellä. Artikkelissa huomautetaan, että FSDP+TP-yhdistelmä on lähes aina laskentasidonnainen, ja pipeline-jakaminen on yleistä GPU-klustereissa. Lopuksi todetaan, että tavoitteena on skaalautua samalla, kun hallitaan ylimääräistä kuormitusta.
Lähde: Habr — хаб ИИ —
Alkuperäinen