La HBM ne suffit plus, les SSD IA prêts pour une croissance explosive

L'inférence des grands modèles de langage se heurte à deux murs : la capacité et les entrées-sorties. Les paramètres des modèles ne cessent de croître, tandis que les contextes longs, les dialogues multi-tours et les tâches d'agents gonflent le cache KV ; les modèles MoE réduisent les paramètres actifs par calcul mais exigent de stocker des poids d'experts dépassant largement la capacité de la VRAM ou de la DRAM. Dans les centres de données cloud, la HBM coûteuse est occupée par les poids et le cache KV, limitant l'utilisation des GPU ; en périphérie et sur les appareils, la DRAM ou la mémoire unifiée limitée restreint la taille des modèles. Alors que la mémoire peine à gérer seule les charges d'inférence, les SSD entrent dans le chemin de données d'inférence en temps réel, devenant un niveau de stockage formel après la HBM, la VRAM et la DRAM. Cette évolution est visible dans l'infrastructure d'inférence : Mooncake de Moonshot AI utilise une architecture désagrégée centrée sur le cache KV, regroupant CPU, DRAM et SSD en cache distribué, avec Mooncake Store prenant en charge une mise en cache multi-niveaux avec DRAM et SSD/NVMe ; en 2026, NVIDIA a introduit la plateforme de stockage de contexte mémoire CMX dans l'infrastructure Vera Rubin, ajoutant un niveau flash connecté Ethernet pour le cache KV, avec BlueField-4 gérant les SSD NVMe. Cependant, les SSD traditionnels ne conviennent pas aux tâches d'inférence persistantes : ils sont conçus pour le stockage de fichiers et de blocs, en mettant l'accent sur la bande passante séquentielle, les IOPS aléatoires et la fiabilité, tandis que l'inférence des LLM nécessite un approvisionnement en données avec des contraintes de synchronisation strictes. Le cache KV est écrit en pré-remplissage et lu à plusieurs reprises ; MoE a besoin de poids d'experts spécifiques avant chaque calcul de couche ; une lecture manquée peut immobiliser le GPU, le NPU ou le CPU. Les IOPS maximales à des profondeurs de file d'attente élevées ne signifient pas une latence stable pour un accès à fine granularité et faible profondeur de file d'attente. La NAND Flash se lit par pages et s'efface par blocs, le FTL provoquant une amplification d'écriture et une latence de queue ; les écritures continues de cache KV stressent l'endurance de la flash. La disposition LBA traditionnelle ignore les relations sémantiques entre les couches, les experts et les blocs KV, dispersant les données connexes et empêchant des lectures parallèles prévisibles. Les systèmes de fichiers, les périphériques de blocs et les piles logicielles NVMe ajoutent de la latence. Sans disposition d'adresses, partitionnement de cache, planification prioritaire, prélecture asynchrone et gestion de la durée de vie orientées vers l'ordre d'exécution du modèle, les SSD ne peuvent pas participer de manière stable à la génération de jetons comme la DRAM ou la VRAM. Le marché propose deux types de « SSD IA » : premièrement, les SSD d'entreprise améliorés pour les charges IA, comme la série Dongting N3X d'InnoGrit, utilisant XL-Flash et SLC NAND pour une faible latence et une endurance élevée, ciblant le déchargement du cache KV et les données temporaires à forte concurrence, revendiquant un tiers de latence, un débit d'écriture triple et 17 à 33 fois le DWPD par rapport aux SSD TLC ; la série OceanDisk de Huawei comprend l'EX 560 pour des performances d'écriture aléatoire élevées, le SP 560 pour des performances équilibrées et le LC 560 avec une capacité allant jusqu'à 245 To pour les données d'entraînement et les bases de données vectorielles, avec le logiciel pilote DiskBooster permettant une hiérarchisation avec HBM et DDR. Deuxièmement, les SSD IA participant à l'inférence visent à modifier la logique de fonctionnement du SSD, créant une hiérarchie virtualisée NAND et DRAM/VRAM via le contrôleur, le firmware et un middleware. aiDAPTIV de Phison utilise un SSD cache et un middleware pour diffuser les poids du modèle entre VRAM et SSD, étendant la taille du modèle sans ajouter de GPU, préservant le cache KV pour la réutilisation, avec une endurance allant jusqu'à 100 DWPD. Le SPU WM8500 de Longsys intègre compression, mise en cache et planification des données, avec le logiciel iSA prenant des décisions de hiérarchisation et de prélecture, utilisant un processus 5 nm, une compression sans perte, HLC et une planification hybride NAND. L'alliance Maxio-Infplane (Maxio Tech et Infplane) combine les technologies de puces d'inférence d'Infplane telles que la mise en cache multi-niveaux et la prélecture avec l'expertise de Maxio en NAND et contrôleurs SSD, ciblant les experts MoE, le cache KV et la précision numérique, visant la compatibilité sans modifier les fichiers de modèle ou les frameworks, étendant la vérification aux PC IA, stations de travail et appareils de périphérie. Ces routes diffèrent par leur portée technique, certaines améliorant les entrées-sorties, d'autres participant à la planification d'exécution. La concurrence dans l'industrie ne fait que commencer, avec des produits validés et des tentatives de commercialisation, et l'avenir pourrait ne pas remplacer HBM, VRAM ou DRAM mais réorganiser la capacité, les performances et le coût, faisant du SSD une variable clé dans l'économie des jetons.