Disk Sparse Adam

OOM in PyTorch überwinden: Training riesiger Graphen auf einer normalen GPU

Ein Entwickler hat Disk Sparse Adam (DSA) entwickelt, einen Out-of-Core-Optimierer für PyTorch, der die Momente des Optimierers über mmap auf die Festplatte auslagert und so die Speichernutzung für das Training großer spärlicher Modelle drastisch reduziert. Dies ermöglicht das Training auf Consumer-GPUs und sogar in der kostenlosen Google-Colab-Umgebung. Benchmarks zeigen keinen zusätzlichen VRAM-Verbrauch bei einer Million Entitäten.

Disk Sparse Adam