Four Mac Studio Units Clustered with 1.5 TB Memory Run AI That Does Not Fit on a Single GPU
Apple
NVIDIA
Exo
Moonshot AI
DeepSeek
Alibaba/Qwen
A journalist combined four Mac Studio units with M3 Ultra into a cluster with a total memory of 1.5 TB using RDMA technology via Thunderbolt 5. The cluster ran massive AI models such as Kimi K2 Thinking (over 600 GB), which cannot be loaded on a single computer. The project was implemented using the open-source tool Exo 1.0.
Компания Apple предоставила автору четыре Mac Studio на M3 Ultra для тестирования технологии RDMA через Thunderbolt — новой функции macOS 26.2, позволяющей объединять оперативную память нескольких компьютеров в общий пул. Суммарный объём унифицированной памяти кластера составил 1,5 ТБ, а стоимость такого набора — около 40 000 долларов (компьютеры были одолжены для тестов). Для распределения задач использовался инструмент Exo 1.0. Благодаря RDMA задержка при обращении к памяти снизилась с 300 мкс до менее 50 мкс. Кластер потребляет менее 250 Вт и работает почти бесшумно. Два нижних Mac Studio имеют по 512 ГБ памяти и 32 процессорных ядра (по $11 699), два верхних — вдвое меньше памяти (по $8 099). В тесте HPL один Mac Studio выдал 1,3 Тфлопс, а кластер из четырёх — 3,7 Тфлопс. Для активации RDMA требовалось вручную ввести команду в режиме восстановления. Кластер позволил запустить модели весом более 600 ГБ, такие как Kimi K2 Thinking. Производительность в бенчмарке Qwen3 235B составила 32 токена/с на полном кластере.
Bron: Habr — хаб ML —
origineel