Bốn máy Mac Studio kết hợp thành cụm với 1,5 TB bộ nhớ – ra mắt AI không vừa một card đồ họa

Apple đã cung cấp cho tác giả một cụm bốn máy tính Mac Studio để thử nghiệm RDMA qua Thunderbolt 5, một tính năng mới trong macOS 26.2. Các máy được kết nối bằng Exo 1.0, một công cụ mã nguồn mở dùng để phân phối các tác vụ trí tuệ nhân tạo qua mạng nội bộ. Tổng bộ nhớ hợp nhất của cụm máy là 1,5 TB, trị giá khoảng 40.000 đô la Mỹ, nhưng được Apple cho mượn. Tác giả đã so sánh chip M3 Ultra trong Mac Studio với các đối thủ như Nvidia DGX Spark và AMD AI Max+ 395, cho thấy hiệu năng vượt trội trong Geekbench, FP64 HPL và các tác vụ suy luận. Cụm máy đạt 3,7 teraflops trong HPL, mở rộng quy mô tốt mặc dù có sự mất cân bằng bộ nhớ giữa các nút. Sử dụng Exo với RDMA, tác giả đã chạy thành công các mô hình khổng lồ như Kimi K2 Thinking (hơn 600 GB) và DeepSeek V3.1, đạt tốc độ lên tới 32 token mỗi giây với Qwen3 235B. Tác giả lưu ý rằng mặc dù cụm máy mạnh mẽ, nhưng việc quản lý các cụm macOS phức tạp hơn so với Linux, và có những thách thức về quản lý cáp cũng như thiếu các bộ chuyển mạch Thunderbolt 5. Toàn bộ hệ thống tiêu thụ dưới 250 watt và hoạt động yên tĩnh.