Cómo superar el desbordamiento de memoria en PyTorch: entrenar grafos gigantes en una GPU común
Disk Sparse Adam
Un desarrollador ha creado Disk Sparse Adam (DSA), un optimizador fuera de núcleo para PyTorch que mueve los estados de momento del optimizador al disco mediante mmap, reduciendo drásticamente el uso de memoria para entrenar modelos dispersos grandes. Esto permite entrenar en GPUs de consumo e incluso en Google Colab gratuito, con un benchmark que muestra un uso de memoria de VRAM nulo en un millón de entidades.
El artículo presenta Disk Sparse Adam (DSA), un nuevo optimizador fuera del núcleo para PyTorch diseñado para entrenar modelos dispersos masivos, como incrustaciones de grafos de conocimiento con millones de nodos, en GPU de consumo. El estándar torch.optim.SparseAdam almacena los estados de primer y segundo momento en memoria, lo que para un modelo con 10 millones de entidades y vectores de 128 dimensiones consume alrededor de 10.24 GB adicionales, lo que a menudo provoca errores de falta de memoria en CUDA. DSA en su lugar almacena estas matrices de momento en disco como archivos binarios y las mapea en memoria utilizando el mecanismo mmap del sistema operativo, leyendo y escribiendo solo los estados del lote activo en cada paso de optimización. El optimizador está diseñado como un reemplazo directo para los flujos de trabajo estándar de PyTorch, y soporta tanto espacios euclidianos como hiperbólicos (bola de Poincaré). El autor informa que el uso de memoria para los estados del optimizador se reduce de gigabytes a megabytes, y un punto de referencia en Kaggle con 1 millón de entidades mostró 0.00 MB de sobrecarga de VRAM y un rendimiento de 134,212 muestras por segundo. DSA está disponible en GitHub bajo la licencia MIT, con limitaciones que incluyen la necesidad de un SSD NVMe para un mejor rendimiento y compatibilidad solo con gradientes dispersos, como los de torch.nn.Embedding o EmbeddingBag.
Fuente: Habr — хаб ИИ —
original