Ускорители AMD Instinct MI300: детальный обзор архитектуры и производительности
NVIDIA
Taiwan Semiconductor Manufacturing Company
AMD представила новое поколение ускорителей Instinct MI300 на архитектуре CDNA3. Модели MI300X и MI300A предлагают до 304 вычислительных блоков, до 192 Гбайт памяти HBM3 и теплопакет до 760 Вт. В тестах AMD заявляет двукратное превосходство над NVIDIA H100 в ряде HPC-нагрузок.
AMD выпустила ускорители Instinct MI300, основанные на архитектуре CDNA3 и использующие продвинутую упаковку CoWoS с чиплетной компоновкой. Чип включает до восьми модулей ускорителей XCD и четыре модуля ввода-вывода IOD, объединённых интерконнектом Infinity Fabric, а также до восьми сборок памяти HBM3. Всего насчитывается до 153 млрд транзисторов. Представлены две версии: MI300X — чистый ускоритель с восемью XCD и 192 Гбайт HBM3, и гибридный MI300A с шестью XCD и тремя CCD (24 ядра Zen 4) и 128 Гбайт HBM3. Теплопакет составляет 750 Вт у MI300X и 760 Вт у MI300A. Архитектура памяти полностью переработана: пропускная способность L2 достигает 51,6 Тбайт/с, Infinity Cache — 17,2 Тбайт/с, HBM3 — 5,3 Тбайт/с. У MI300A реализована унифицированная память для CPU и GPU. В тестах AMD заявляет, что MI300A в четыре раза быстрее NVIDIA H100 в задаче OpenFOAM motorbike при меньшем теплопакете (550 Вт против 700 Вт). MI300X предлагает до 19456 потоковых процессоров и 1216 матричных ядер, с производительностью до 6,8 раз выше предшественника MI250X на INT8. Поддерживаются новые типы данных FP8 и TF32, а также разреженные вычисления. AMD утверждает, что MI300 превосходит H100 в инференсе, однако отмечает, что тесты собственные, и NVIDIA готовит ускорители H200 и GH200.
- Сокращения
- CDNA = Compute DNA — вычислительная архитектура AMD
- CoWoS = Chip-on-Wafer-on-Substrate — чип-на-пластине-на-подложке
- XCD = Compute Die — вычислительный кристалл
- IOD = Input/Output Die — кристалл ввода-вывода
- HBM3 = High Bandwidth Memory 3 — высокопропускная память третьего поколения
- CCD = Core Complex Die — кристалл с вычислительными ядрами
- OAM = OCP Accelerator Module — модуль ускорителя стандарта OCP
- CU = Compute Unit — вычислительный блок
- ACE = Asynchronous Compute Engines — асинхронные вычислительные движки
- TSV = Through-Silicon Via — сквозное кремниевое соединение
- BPV = Bond Pad Via — соединительное окно контактной площадки
- LDS = Local Data Share — локальный обмен данными
- LLM = Large Language Model — большая языковая модель
- FP64 = Floating Point 64-bit — 64-битная плавающая запятая
- FP32 = Floating Point 32-bit — 32-битная плавающая запятая
- FP16 = Floating Point 16-bit — 16-битная плавающая запятая
- BF16 = Brain Floating Point 16-bit — 16-битное число с плавающей запятой от Google
- INT8 = Integer 8-bit — 8-битное целое
- FP8 = Floating Point 8-bit — 8-битная плавающая запятая
- TF32 = Tensor Float 32 — тензорный формат 32 бита
- HPC = High-Performance Computing — высокопроизводительные вычисления
- APU = Accelerated Processing Unit — ускоренное процессорное устройство
- PCIe = Peripheral Component Interconnect Express — шина подключения периферии
- TDP = Thermal Design Power — расчётная тепловая мощность
Источник: ServerNews —
оригинал