Disk Sparse Adam

PyTorch में OOM को हराना: साधारण GPU पर विशाल ग्राफ़ प्रशिक्षण

एक डेवलपर ने Disk Sparse Adam (DSA) बनाया है, जो PyTorch के लिए एक आउट-ऑफ-कोर ऑप्टिमाइज़र है जो mmap के माध्यम से ऑप्टिमाइज़र मोमेंट स्टेट्स को डिस्क पर ले जाता है, जिससे बड़े स्पार्स मॉडल्स के प्रशिक्षण के लिए मेमोरी उपयोग में भारी कमी आती है। यह उपभोक्ता GPU और यहां तक कि मुफ्त Google Colab पर प्रशिक्षण की अनुमति देता है, और बेंचमार्क एक मिलियन इकाइयों पर शून्य VRAM ओवरहेड दिखाता है।

Disk Sparse Adam