Hardware e Inferencia RSS

AMD Instinct MI300: análisis detallado de la arquitectura y el rendimiento

La serie AMD Instinct MI300, basada en la arquitectura CDNA3, introduce un diseño heterogéneo de chips con hasta 8 módulos XCD y 4 módulos IOD, utilizando empaquetado avanzado CoWoS y tecnología 3D V-Cache. La línea incluye el acelerador MI300X y la APU MI300A con núcleos Zen 4 integrados, ofreciendo hasta 304 unidades de cómputo, memoria HBM3 de hasta 192 GB y mejoras significativas de rendimiento respecto a la generación anterior y la NVIDIA H100 en cargas de trabajo tanto de HPC como de IA.

NVIDIANVIDIA Taiwan Semiconductor Manufacturing CompanyTaiwan Semiconductor Manufacturing Company
ServerNews27.07 · 18:05
Investigación 🇺🇸

Nuevo informe técnico de DeepSeek-V3: cómo el codiseño hardware-software permite el entrenamiento de bajo costo de modelos grandes

Un nuevo artículo técnico del equipo de DeepSeek, con el director ejecutivo Wenfeng Liang como coautor, explora el codiseño de modelos consciente del hardware para reducir los costos de entrenamiento de LLM. Utilizando DeepSeek-V3 entrenado en 2048 GPU NVIDIA H800 como caso de estudio, el artículo detalla innovaciones en eficiencia de memoria (MLA), computación dispersa (DeepSeekMoE), entrenamiento FP8 y enrutamiento consciente de la interconexión.

DeepSeekDeepSeek NVIDIANVIDIA Alibaba/QwenAlibaba/Qwen MetaMeta
Synced27.07 · 18:04
Noticias frescas