Disk Sparse Adam

Vaincre l'OOM dans PyTorch : entraîner d'immenses graphes sur un GPU ordinaire

Un développeur a créé Disk Sparse Adam (DSA), un optimiseur hors mémoire pour PyTorch qui déplace les états de moment de l'optimiseur sur le disque via mmap, réduisant considérablement l'utilisation de la mémoire pour l'entraînement de grands modèles épars. Cela permet l'entraînement sur des GPU grand public et même sur Google Colab gratuit, avec un benchmark montrant une surcharge de mémoire VRAM nulle sur un million d'entités.

Disk Sparse Adam