OOM in PyTorch überwinden: Training riesiger Graphen auf einer normalen GPU
Disk Sparse Adam
Ein Entwickler hat Disk Sparse Adam (DSA) entwickelt, einen Out-of-Core-Optimierer für PyTorch, der die Momente des Optimierers über mmap auf die Festplatte auslagert und so die Speichernutzung für das Training großer spärlicher Modelle drastisch reduziert. Dies ermöglicht das Training auf Consumer-GPUs und sogar in der kostenlosen Google-Colab-Umgebung. Benchmarks zeigen keinen zusätzlichen VRAM-Verbrauch bei einer Million Entitäten.
Der Artikel stellt Disk Sparse Adam (DSA) vor, einen neuen Out-of-Core-Optimierer für PyTorch, der darauf ausgelegt ist, massive, spärliche Modelle – wie Wissensgrafen-Einbettungen mit Millionen von Knoten – auf GPUs der Verbraucherklasse zu trainieren. Der Standard-torch.optim.SparseAdam speichert die Zustände des ersten und zweiten Moments im Speicher, was bei einem Modell mit 10 Millionen Entitäten und 128-dimensionalen Vektoren etwa 10,24 Gigabyte zusätzlich benötigt und häufig zu CUDA-Out-of-Memory-Fehlern führt. Stattdessen speichert DSA diese Momentenmatrizen als Binärdateien auf der Festplatte und bildet sie mithilfe des Betriebssystem-Mmap-Mechanismus in den Speicher ab, wobei bei jedem Optimierungsschritt nur die Zustände der aktiven Stapel gelesen und geschrieben werden. Der Optimierer ist als Drop-in-Ersatz für Standard-PyTorch-Pipelines konzipiert und unterstützt sowohl euklidische als auch hyperbolische Räume (Poincaré-Kugel). Der Autor berichtet, dass der Speicherverbrauch für Optimiererzustände von Gigabyte auf Megabyte sinkt, und ein Benchmark auf Kaggle mit 1 Million Entitäten zeigte 0,00 Megabyte VRAM-Overhead und einen Durchsatz von 134.212 Abtastungen pro Sekunde. DSA ist auf GitHub unter der MIT-Lizenz verfügbar, mit Einschränkungen wie der Notwendigkeit einer NVMe-SSD für beste Leistung und Kompatibilität nur mit spärlichen Gradienten, wie sie beispielsweise von torch.nn.Embedding oder EmbeddingBag erzeugt werden.
Quelle: Habr — хаб ИИ —
Original