Quatre Mac Studios en cluster avec 1,5 To de mémoire – lancement d'une IA qui ne tient pas dans une seule carte graphique

Apple a fourni à l'auteur un cluster de quatre ordinateurs Mac Studio pour tester le RDMA via Thunderbolt 5, une nouvelle fonctionnalité de macOS 26.2. Les machines étaient connectées à l'aide d'Exo 1.0, un outil open-source pour distribuer des tâches d'intelligence artificielle sur des réseaux locaux. La mémoire unifiée totale du cluster est de 1,5 To, coûtant environ 40 000 dollars, mais prêtée par Apple. L'auteur a comparé la puce M3 Ultra du Mac Studio à des concurrents comme le Nvidia DGX Spark et le AMD AI Max+ 395, montrant des performances supérieures dans Geekbench, FP64 HPL et les tâches d'inférence. Le cluster a atteint 3,7 téraflops en HPL, avec une bonne scalabilité malgré le déséquilibre de mémoire entre les nœuds. En utilisant Exo avec RDMA, l'auteur a réussi à exécuter des modèles massifs comme Kimi K2 Thinking (plus de 600 Go) et DeepSeek V3.1, atteignant jusqu'à 32 tokens par seconde avec Qwen3 235B. L'auteur a noté que, bien que le cluster soit puissant, la gestion des clusters macOS est plus fastidieuse que sous Linux, et il y a des défis liés à la gestion des câbles et au manque de commutateurs Thunderbolt 5. L'ensemble du système consomme moins de 250 watts et fonctionne silencieusement.