HBM만으로는 부족하다, AI SSD 폭발적 성장 예고

대규모 언어 모델(Large Language Model, LLM) 추론은 두 가지 벽에 부딪히고 있다. 바로 용량과 I/O(입출력)이다. 모델 파라미터는 계속 늘어나고, 긴 컨텍스트와 멀티턴 대화, 에이전트 작업은 KV 캐시(Key-Value Cache)를 부풀린다. MoE(Mixture of Experts) 모델은 연산당 활성 파라미터 수를 줄이지만, VRAM이나 DRAM 용량을 훨씬 초과하는 전문가(expert) 가중치를 저장해야 한다. 클라우드 데이터센터에서는 비싼 HBM(High Bandwidth Memory)이 가중치와 KV 캐시로 채워져 GPU 활용률을 제한하고, 엣지와 디바이스에서는 제한된 DRAM이나 통합 메모리가 모델 크기를 제약한다. 메모리만으로는 추론 부하를 감당하기 어려워지면서, SSD가 실시간 추론 데이터 경로에 진입해 HBM, VRAM, DRAM 다음의 정식 스토리지 계층으로 자리 잡고 있다. 이러한 변화는 추론 인프라에서 이미 나타나고 있다. Moonshot AI의 Mooncake는 KV 캐시 중심의 분리형(disaggregated) 아키텍처를 사용해 CPU, DRAM, SSD를 분산 캐시로 풀링하며, Mooncake Store는 DRAM과 SSD/NVMe를 이용한 다단계 캐싱을 지원한다. 2026년 NVIDIA는 Vera Rubin 인프라에 컨텍스트 메모리 스토리지 플랫폼인 CMX(Context Memory Storage)를 도입해 KV 캐시를 위한 이더넷 연결 플래시 계층을 추가했으며, BlueField-4가 NVMe SSD를 관리한다. 하지만 기존 SSD는 지속적인 추론 작업에 적합하지 않다. 전통적인 SSD는 파일 및 블록 스토리지를 위해 설계되어 순차 대역폭, 랜덤 IOPS(Input/Output Operations Per Second), 신뢰성에 초점을 맞추는 반면, LLM 추론은 엄격한 타이밍 제약이 있는 데이터 공급을 요구한다. KV 캐시는 프리필(prefill) 단계에서 기록된 뒤 반복적으로 읽히며, MoE는 각 레이어 연산 전에 특정 전문가 가중치가 필요하고, 단 한 번의 읽기 실패만으로도 GPU, NPU(Neural Processing Unit), CPU가 정지될 수 있다. 높은 큐 깊이에서의 최대 IOPS는 낮은 큐 깊이의 세밀한 접근에서의 안정적 지연시간과 같지 않다. NAND 플래시는 페이지 단위로 읽고 블록 단위로 지우며, FTL(Flash Translation Layer)로 인해 쓰기 증폭(write amplification)과 테일 레이턴시(tail latency)가 발생한다. 지속적인 KV 캐시 쓰기는 플래시 내구성에 부담을 준다. 전통적인 LBA(Logical Block Addressing) 배치는 레이어, 전문가, KV 블록 간의 의미론적 관계를 무시해 관련 데이터를 흩어놓고 예측 가능한 병렬 읽기를 방해한다. 파일 시스템, 블록 디바이스, NVMe 소프트웨어 스택 역시 추가 지연을 유발한다. 모델 실행 순서에 맞춘 주소 배치, 캐시 분할, 우선순위 스케줄링, 비동기 프리페치, 수명 관리가 없다면 SSD는 DRAM이나 VRAM처럼 토큰 생성 과정에 안정적으로 참여할 수 없다. 시장에는 두 가지 유형의 'AI SSD'가 존재한다. 첫 번째는 AI 부하에 강화된 엔터프라이즈 SSD로, InnoGrit의 Dongting N3X 시리즈는 XL-Flash와 SLC NAND를 사용해 낮은 지연시간과 높은 내구성을 구현하며, KV 캐시 오프로드와 고동시성 임시 데이터를 겨냥해 TLC SSD 대비 3분의 1 수준의 지연시간, 3배의 쓰기 처리량, 17~33배의 DWPD(Drive Writes Per Day)를 주장한다. Huawei의 OceanDisk 시리즈에는 고성능 랜덤 쓰기를 위한 EX 560, 균형 잡힌 성능의 SP 560, 학습 데이터 및 벡터 데이터베이스용으로 최대 245TB 용량을 제공하는 LC 560이 포함되며, DiskBooster 드라이버 소프트웨어가 HBM 및 DDR과의 계층화를 지원한다. 두 번째는 추론 과정에 직접 참여하는 AI SSD로, 컨트롤러, 펌웨어, 미들웨어를 통해 NAND와 DRAM/VRAM 간의 가상화된 계층 구조를 만들어 SSD의 동작 논리 자체를 바꾸는 것을 목표로 한다. Phison의 aiDAPTIV는 캐시 SSD와 미들웨어를 사용해 VRAM과 SSD 간에 모델 가중치를 스트리밍함으로써 GPU를 추가하지 않고도 모델 크기를 확장하며, KV 캐시를 재사용할 수 있도록 보존하고 최대 100 DWPD의 내구성을 지원한다. Longsys의 WM8500 SPU는 압축, 캐싱, 데이터 스케줄링을 통합하며, iSA 소프트웨어가 계층화 및 프리페치 결정을 내리고, 5나노미터 공정, 무손실 압축, HLC(Hybrid Level Cell), 하이브리드 NAND 스케줄링을 사용한다. Maxio Tech와 Infplane이 결성한 Maxio-Infplane 연합은 Infplane의 다단계 캐싱 및 프리페치 등 추론 칩 기술과 Maxio의 NAND 및 SSD 컨트롤러 전문성을 결합해 MoE 전문가, KV 캐시, 수치 정밀도를 겨냥하며, 모델 파일이나 프레임워크를 수정하지 않고도 호환성을 확보하는 것을 목표로 하고 있으며, AI PC, 워크스테이션, 엣지 디바이스 전반으로 검증 범위를 확장하고 있다. 이러한 경로들은 기술적 범위에서 차이를 보이는데, 일부는 I/O를 강화하는 데 그치고 다른 일부는 런타임 스케줄링에 직접 참여한다. 업계 경쟁은 이제 막 시작되었으며, 검증된 제품과 상업화 시도가 이어지고 있다. 미래에는 SSD가 HBM, VRAM, DRAM을 대체하기보다는 용량, 성능, 비용의 계층 구조를 재편하며, 토큰 경제학(token economics)의 핵심 변수로 자리매김할 가능성이 크다.