OOM-ongelman voitettu PyTorchissa: Jättigraafien kouluttaminen tavallisella GPU:lla
Kehittäjä on luonut Disk Sparse Adam (DSA) -optimoijan PyTorchia varten, joka siirtää optimoijan momenttitilat levylle mmap:n avulla, vähentäen huomattavasti muistinkäyttöä suurten harvojen mallien kouluttamisessa. Tämä mahdollistaa kouluttamisen kuluttajatason GPU:lla ja jopa ilmaisella Google Colabilla, ja benchmark osoittaa nollan VRAM-ylikuormituksen miljoonalla entiteetillä.
Disk Sparse Adam
Habr — хаб ИИ08.08 · 16:02