Disk Sparse Adam

PyTorch에서 OOM 극복: 일반 GPU로 거대 그래프 학습하기

한 개발자가 PyTorch용 아웃오브코어 옵티마이저인 Disk Sparse Adam(DSA)을 만들었습니다. 이 옵티마이저는 mmap을 통해 옵티마이저 모멘텀 상태를 디스크로 이동시켜, 대규모 희소 모델 학습 시 메모리 사용량을 대폭 줄입니다. 이를 통해 소비자용 GPU나 무료 Google Colab에서도 학습이 가능하며, 벤치마크 결과 백만 개 엔티티에서 VRAM 사용량이 0인 것으로 나타났습니다.

Disk Sparse Adam