Maxio Tech

Últimas noticias, modelos y lanzamientos de IA de Maxio Tech.

Hardware e Inferencia 🇨🇳

SSD de IA: un cambio de paradigma en el almacenamiento para la inferencia de LLM

La infraestructura de IA está yendo más allá del cómputo puro, con los estados de inferencia convirtiéndose en un recurso de primera clase. Sistemas como Mooncake de Moonshot AI y la plataforma CMX de NVIDIA están integrando el almacenamiento en la ruta de datos en tiempo real para la generación de tokens. Este cambio está impulsando la aparición de SSD específicos para IA, diseñados para baja latencia, alta durabilidad y gestión inteligente de datos.

Moonshot AI

NVIDIA

Huawei

Maxio Tech

QbitAI 量子位07.08 · 07:02

Hardware e Inferencia 🇨🇳

HBM no basta, los SSD de IA se preparan para un crecimiento explosivo

A medida que la inferencia de modelos de lenguaje de gran tamaño alcanza sus límites de capacidad y cuellos de botella de entrada/salida, los SSD están pasando del almacenamiento estático a la ruta de datos en tiempo real de la inferencia, convirtiéndose en un nivel de almacenamiento formal después de HBM, VRAM y DRAM. La industria está viendo dos rutas principales: SSD empresariales mejorados con carga de IA y SSD que participan en la inferencia y programan datos directamente, con empresas como Phison, Longsys y la alianza Maxio-Infplane liderando el camino.

Moonshot AI

NVIDIA

Huawei

Maxio Tech

InfoQ 中国07.08 · 06:02