Disk Sparse Adam

PyTorch'ta OOM'u Yenmek: Sıradan Bir GPU'da Dev Grafik Eğitimi

Bir geliştirici, PyTorch için Disk Sparse Adam (DSA) adlı, bellek dışı bir iyileştirici oluşturdu. Bu iyileştirici, iyileştirici anlık durumlarını mmap aracılığıyla diske taşıyarak büyük seyrek modellerin eğitimi için bellek kullanımını büyük ölçüde azaltıyor. Bu sayede tüketici GPU'larında ve hatta ücretsiz Google Colab'de eğitim yapılabiliyor; kıyaslamalar, bir milyon varlıkta sıfır video belleği (VRAM) ek yükü gösteriyor.

Disk Sparse Adam