Четыре Mac Studio объединили в кластер с 1,5 ТБ памяти — и запустили ИИ, неподъёмный для одной видеокарты
Apple
Moonshot AI
Энтузиаст собрал кластер из четырёх Mac Studio на M3 Ultra, объединив их через Thunderbolt 5 с поддержкой RDMA и получив суммарно 1,5 ТБ унифицированной памяти. В тестах кластер запустил гигантские модели вроде DeepSeek V3.1 (650+ ГБ), недоступные для одиночного компьютера. При этом производительность кластера выросла почти втрое по сравнению с одной машиной.
Компания Apple предоставила автору для тестирования технологии RDMA через Thunderbolt в macOS 26.2 четыре Mac Studio на чипе M3 Ultra с суммарным объёмом унифицированной памяти 1,5 ТБ. Благодаря открытому инструменту Exo 1.0, использующему RDMA, маки объединяются в единый пул памяти с задержкой менее 50 мкс, что позволяет запускать тяжеловесные нейросети, которые не влезают ни в одну видеокарту. Два нижних компьютера оснащены 512 ГБ памяти и 32 процессорными ядрами (по $11 699), два верхних — вдвое меньше памяти (по $8 099). Вся система потребляет менее 250 Вт и работает почти бесшумно. Для монтажа использовалась открытая мини-стойка DeskPi TL1. В тестах HPL один Mac Studio показал 1,3 терафлопс, а кластер — 3,7 терафлопс, что даёт прирост почти в три раза (ожидаемо из-за разного объёма памяти у узлов). В задачах инференса кластер выдал 32 токена в секунду на Qwen3 235B через Exo, а на DeepSeek V3.1 (650+ ГБ) показал 8–10 токенов/с. Основные проблемы: необходимость ручного включения RDMA через режим восстановления, невозможность обновления macOS по SSH и отсутствие коммутаторов Thunderbolt 5, из-за чего приходится соединять машины напрямую.
- Сокращения
- RDMA = Remote Direct Memory Access — удалённый прямой доступ к памяти
- HPC = High-Performance Computing — высокопроизводительные вычисления
- FP64 = Double-precision floating-point format — числа с плавающей запятой двойной точности
- HPL = High-Performance Linpack — высокопроизводительный Linpack
- RPC = Remote Procedure Call — удалённый вызов процедур
- MDM = Mobile Device Management — управление мобильными устройствами
- KVM = Kernel-based Virtual Machine — коммутатор клавиатуры, видео и мыши
- SSH = Secure Shell — протокол защищённой оболочки
- TCP = Transmission Control Protocol — протокол управления передачей
- SBC = Single-Board Computer — одноплатный компьютер
Источник: Habr — хаб ИИ —
оригинал