Disk Sparse Adam

攻克PyTorch显存不足难题：在普通GPU上训练超大图模型

一位开发者创造了Disk Sparse Adam（DSA），这是一种用于PyTorch的磁盘稀疏优化器，通过内存映射（mmap）将优化器动量状态移至磁盘，大幅降低了训练大型稀疏模型的内存占用。这使得在消费级GPU乃至免费的谷歌Colab上训练成为可能，基准测试显示在百万实体规模下实现了零显存开销。

Disk Sparse Adam