Maxio Tech — actualités et modèles d'IA

SSD IA : un changement de paradigme de stockage dans l'inférence LLM

L'infrastructure IA dépasse les simples calculs bruts, les états d'inférence devenant une ressource de première classe. Des systèmes comme Mooncake de Moonshot AI et la plateforme CMX de NVIDIA intègrent le stockage dans le chemin de données en temps réel pour la génération de jetons. Cette évolution favorise l'émergence de SSD spécifiques à l'IA, conçus pour une faible latence, une durabilité élevée et une gestion intelligente des données.

Moonshot AI

NVIDIA

Huawei

Maxio Tech

QbitAI 量子位07.08 · 07:02

Matériel et Inférence 🇨🇳

La HBM ne suffit plus, les SSD IA prêts pour une croissance explosive

Alors que l'inférence des grands modèles de langage atteint ses limites de capacité et ses goulots d'étranglement d'entrée-sortie, les SSD passent d'un stockage statique à une place centrale dans le chemin de données en temps réel de l'inférence, devenant un niveau de stockage formel après la HBM, la VRAM et la DRAM. L'industrie observe deux voies principales : les SSD d'entreprise améliorés pour l'IA et les SSD participant à l'inférence qui planifient directement les données, avec des entreprises comme Phison, Longsys et l'alliance Maxio-Infplane en tête.

Moonshot AI

NVIDIA

Huawei

Maxio Tech

InfoQ 中国07.08 · 06:02