Четыре Mac Studio объединили в кластер с 1,5 ТБ памяти — запустили ИИ, не влезающий в одну видеокарту
Apple
NVIDIA
Exo
Moonshot AI
DeepSeek
Alibaba/Qwen
Журналист объединил четыре Mac Studio на M3 Ultra в кластер с суммарной памятью 1,5 ТБ, используя технологию RDMA через Thunderbolt 5. Кластер запустил гигантские ИИ-модели, такие как Kimi K2 Thinking (600+ ГБ), которые невозможно загрузить на одном компьютере. Проект реализован с помощью открытого инструмента Exo 1.0.
Компания Apple предоставила автору четыре Mac Studio на M3 Ultra для тестирования технологии RDMA через Thunderbolt — новой функции macOS 26.2, позволяющей объединять оперативную память нескольких компьютеров в общий пул. Суммарный объём унифицированной памяти кластера составил 1,5 ТБ, а стоимость такого набора — около 40 000 долларов (компьютеры были одолжены для тестов). Для распределения задач
Показать ещё ↓
- Сокращения
- RDMA = Remote Direct Memory Access — удалённый прямой доступ к памяти
- HPC = High-Performance Computing — высокопроизводительные вычисления
- HPL = High-Performance Linpack — Linpack для высокопроизводительных систем
- FP64 = double-precision floating point (64-bit) — числа двойной точности (64-битные)
- RPC = Remote Procedure Call — удалённый вызов процедур
- MDM = Mobile Device Management — управление мобильными устройствами
- SBC = Single-Board Computer — одноплатный компьютер
- QSFP = Quad Small Form-factor Pluggable — четырёхканальный подключаемый модуль малого форм-фактора
- KVM = Keyboard, Video, Mouse — клавиатура, видео, мышь
- SSH = Secure Shell — безопасная оболочка
Источник: Habr — хаб ML —
оригинал