التغلب على نفاد الذاكرة في PyTorch: تدريب رسوم بيانية ضخمة على وحدة معالجة رسومية عادية
ابتكر مطور أداة Disk Sparse Adam (DSA)، وهي مُحسِّن خارجي للذاكرة في PyTorch ينقل حالات الزخم الخاصة بالمُحسِّن إلى القرص عبر mmap، مما يقلل بشكل كبير من استخدام الذاكرة عند تدريب النماذج الكبيرة والمتناثرة. يسمح ذلك بالتدريب على وحدات معالجة رسومية للمستهلكين وحتى على Google Colab المجاني، حيث تُظهر المعايير صفر حمل إضافي على الذاكرة الافتراضية عند معالجة مليون كيان.
Disk Sparse Adam
Habr — хаб ИИ08.08 · 16:02