PyTorchでOOMを克服：通常のGPUで巨大グラフをトレーニング
開発者がDisk Sparse Adam（DSA）を作成しました。これはPyTorch用のアウトオブコア最適化手法で、mmapを介してオプティマイザのモーメント状態をディスクに移動し、大規模なスパースモデルのトレーニングにおけるメモリ使用量を大幅に削減します。これにより、コンシューマー向けGPUや無料のGoogle Colabでのトレーニングが可能になり、ベンチマークでは100万エンティティに対してVRAMオーバーヘッドがゼロであることが示されています。
Disk Sparse Adam
Habr — хаб ИИ08.08 · 16:02