значительно превышает ёмкость VRAM или DRAM. В облачных дата-центрах дорогая память HBM оказывается занята весами и KV Cache, что ограничивает загрузку GPU; на устройствах и периферии ограниченный объём DRAM или единой памяти сдерживает размер модели. Поскольку память уже не справляется с нагрузкой инференса в одиночку, SSD-накопители начинают входить в путь данных инференса реального времени, становясь официальным уровнем хранения после HBM, VRAM и DRAM. Этот сдвиг заметен в инфраструктуре инференса: Mooncake от Moonshot AI использует дезагрегированную архитектуру, ориентированную на KV Cache, объединяя CPU, DRAM и SSD в распределённый кэш, при этом Mooncake Store поддерживает многоуровневое кэширование с использованием DRAM и SSD/NVMe (Non-Volatile Memory Express); в 2026 году NVIDIA представила платформу хранения контекстной памяти CMX в составе инфраструктуры Vera Rubin, добавив уровень флеш-памяти с подключением через Ethernet для KV Cache, где BlueField-4 управляет NVMe-накопителями.