HBM недостаточно: ИИ-твердотельные накопители готовы к взрывному росту
Поскольку вывод больших языковых моделей сталкивается с ограничениями пропускной способности и узкими местами ввода-вывода, твердотельные накопители (SSD) переходят от статического хранения к участию в обработке данных в реальном времени в процессе инференса, становясь формальным уровнем хранения после HBM, VRAM и DRAM. В отрасли наблюдаются два основных направления: усовершенствованные корпоративные SSD с поддержкой ИИ и SSD, участвующие в инференсе, которые напрямую планируют данные, при этом такие компании, как Phison, Longsys и альянс Maxio-Infplane, выступают в роли лидеров.
Инференс больших языковых моделей упирается в два барьера: ёмкость и пропускную способность ввода-вывода. Количество параметров моделей продолжает расти, а длинные контексты, многоходовые диалоги и агентные задачи раздувают KV Cache; MoE-модели (Mixture of Experts, модель смеси экспертов) снижают число активных параметров при вычислении, но требуют хранения весов экспертов, объём которых
Показать ещё ↓
Источник: InfoQ 中国 —
оригинал