AI SSD: LLM 추론에서의 스토리지 패러다임 전환

AI 인프라 경쟁은 단순 GPU 수와 연산 능력에서 벗어나, 컴퓨팅, 네트워크, 메모리, 스토리지가 토큰당 함께 작동하는 총체적 접근 방식으로 전환되고 있다. 이러한 변화는 장문 컨텍스트 모델, 복잡한 추론, 멀티 에이전트 시스템에 의해 주도되며, KV 캐시와 MoE 전문가 가중치의 효율적인 관리가 필요하다. 대표적인 신호로는 Moonshot AI의 Mooncake와 NVIDIA의 CMX가 있다. Mooncake는 KV 캐시 중심의 분리형 아키텍처로, 유휴 CPU, DRAM, SSD, NIC 자원을 분산 캐시 풀로 구성하여 테스트에서 유효 요청 용량을 59%에서 498%까지 향상시킨다. NVIDIA의 CMX 컨텍스트 메모리 스토리지 플랫폼은 HBM과 공유 스토리지 사이에 'G3.5' 계층을 추가하여 GPU 포드 내에서 PB 규모의 공유 컨텍스트 메모리를 제공하며, 지속 토큰 처리량과 전력 효율성을 최대 5배 개선할 수 있다. 이러한 시스템들은 추론 상태가 핵심 자원이 되고 있으며, 스토리지가 배치, 마이그레이션, 재사용에 참여해야 함을 강조한다. 결과적으로 AI SSD가 부상하고 있으며, 두 가지 범주로 나뉜다: AI 강화 엔터프라이즈 SSD(예: InnoGrit Dongting-N3X, Huawei OceanDisk LC 560)와 추론에 참여하는 AI SSD. 후자의 주목할 만한 세 가지 경로는 Phison의 aiDAPTIV(전용 캐시 SSD와 미들웨어 사용), Longsys의 SPU+iSA(스토리지 측 지능 활용), Infplane-Maxio의 계층 간 조정이다. AI SSD 경쟁은 궁극적으로 전체 데이터 경로에 관한 것이며, NAND 미디어, FTL, 펌웨어, 드라이버, 미들웨어, 추론 프레임워크 간의 협업이 필요하다. AI SSD는 HBM, VRAM, DRAM을 대체하지 않지만, 액세스 온도에 따라 데이터가 배치되고 소프트웨어와 하드웨어에 의해 마이그레이션이 관리되는 더 세분화된 스토리지 계층을 형성할 것이다.