Cuatro Mac Studio con 1.5 TB de memoria en clúster ejecutan IA que no cabe en una sola GPU
Apple
NVIDIA
Exo
Moonshot AI
DeepSeek
Alibaba/Qwen
Un periodista combinó cuatro unidades Mac Studio con M3 Ultra en un clúster con una memoria total de 1.5 TB utilizando tecnología RDMA a través de Thunderbolt 5. El clúster ejecutó modelos masivos de IA como Kimi K2 Thinking (más de 600 GB), que no pueden cargarse en una sola computadora. El proyecto se implementó utilizando la herramienta de código abierto Exo 1.0.
Apple ha proporcionado al autor cuatro Mac Studio con M3 Ultra para probar la tecnología RDMA a través de Thunderbolt, una nueva función de macOS 26.2 que permite agrupar la memoria RAM de varios ordenadores en un pool común. La capacidad total de memoria unificada del clúster fue de 1,5 TB, y el coste de este conjunto rondó los 40.000 dólares (los ordenadores fueron prestados para las pruebas). Para distribuir las tareas se utilizó la herramienta Exo 1.0. Gracias a RDMA, la latencia de acceso a la memoria se redujo de 300 microsegundos a menos de 50 microsegundos. El clúster consume menos de 250 vatios y funciona casi en silencio. Los dos Mac Studio inferiores cuentan con 512 GB de memoria y 32 núcleos de procesador (11.699 dólares cada uno), mientras que los dos superiores tienen la mitad de memoria (8.099 dólares cada uno). En la prueba HPL, un Mac Studio rindió 1,3 teraflops, mientras que el clúster de cuatro alcanzó los 3,7 teraflops. Para activar RDMA era necesario introducir manualmente un comando en modo de recuperación. El clúster permitió ejecutar modelos de más de 600 GB, como Kimi K2 Thinking. El rendimiento en el benchmark Qwen3 235B fue de 32 tokens por segundo en el clúster completo.
Fuente: Habr — хаб ML —
original
