Disk Sparse Adam

Khắc phục lỗi OOM trong PyTorch: Huấn luyện đồ thị khổng lồ trên GPU thông thường

Một nhà phát triển đã tạo ra Disk Sparse Adam (DSA), một trình tối ưu hóa ngoài bộ nhớ cho PyTorch giúp chuyển trạng thái moment của trình tối ưu hóa sang đĩa thông qua mmap, giảm đáng kể mức sử dụng bộ nhớ khi huấn luyện các mô hình thưa lớn. Điều này cho phép huấn luyện trên các GPU tiêu dùng và thậm chí trên Google Colab miễn phí, với điểm chuẩn cho thấy không có chi phí VRAM trên một triệu thực thể.

Disk Sparse Adam