AMD Instinct MI300: Detailed Architecture and Performance Analysis

AMD đã công bố mô tả chi tiết về các bộ tăng tốc Instinct MI300. Từ góc độ kỹ thuật, MI300 kế thừa ý tưởng của MI200 nhưng sử dụng công nghệ đóng gói CoWoS phức tạp hơn nhiều. Chip có thể chứa tới tám mô-đun tăng tốc (XCD) và bốn mô-đun đầu vào/đầu ra (IOD), được kết nối qua Infinity Fabric. Tổng số lượng bóng bán dẫn lên tới 153 tỷ. MI300 tồn tại ở hai phiên bản: MI300X — bộ tăng tốc "thuần túy" với tám XCD và 192 GB HBM3, và MI300A — bản lai với sáu XCD và ba mô-đun CPU (24 nhân Zen 4) cùng 128 GB HBM3. Công suất nhiệt (TDP - Thermal Design Power) là 750–760 W. Kiến trúc CDNA3 đã được thiết kế lại hoàn toàn: các nhân ma trận được cải tiến, băng thông bộ nhớ đệm tăng lên, hỗ trợ thêm các định dạng dữ liệu FP8 và TF32, cũng như dữ liệu thưa. Theo tuyên bố của AMD, MI300X vượt trội so với NVIDIA H100 SXM ở mọi chế độ tính toán, đặc biệt là FP64, và cung cấp dung lượng bộ nhớ HBM3 lớn hơn gần 2,5 lần, mang lại lợi thế trong huấn luyện và suy luận các mô hình AI lớn. Trong các tác vụ HPC (High-Performance Computing - tính toán hiệu năng cao), chẳng hạn như bài kiểm tra OpenFOAM motorbike, MI300A nhanh gấp 4 lần H100 với mức TDP thấp hơn. Nền tảng tám MI300X không yêu cầu switch ngoài, khác với NVIDIA H100. AMD cũng lưu ý rằng họ đã phản hồi các chỉ trích của NVIDIA, khẳng định MI300X vẫn nhanh hơn H100 trong suy luận.