Quatre Mac Studio en cluster avec 1,5 To de mémoire font tourner une IA qui ne tient pas sur un seul GPU

Apple a prêté à l'auteur quatre Mac Studio équipés du M3 Ultra pour tester la technologie RDMA via Thunderbolt, une nouvelle fonctionnalité de macOS 26.2 qui permet de regrouper la mémoire vive de plusieurs ordinateurs en un pool commun. La mémoire unifiée totale du cluster s'élevait à 1,5 To, et le coût de cet ensemble était d'environ 40 000 dollars (les ordinateurs ont été prêtés pour les tests). L'outil Exo 1.0 a été utilisé pour distribuer les tâches. Grâce à la technologie RDMA, la latence d'accès à la mémoire est passée de 300 µs à moins de 50 µs. Le cluster consomme moins de 250 W et fonctionne presque silencieusement. Les deux Mac Studio du bas disposent de 512 Go de mémoire et de 32 cœurs de processeur (11 699 dollars chacun), tandis que les deux du haut ont moitié moins de mémoire (8 099 dollars chacun). Dans le test HPL, un seul Mac Studio a atteint 1,3 téraflops, tandis que le cluster de quatre machines a atteint 3,7 téraflops. Pour activer la fonction RDMA, il était nécessaire d'entrer manuellement une commande en mode de récupération. Le cluster a permis d'exécuter des modèles de plus de 600 Go, comme Kimi K2 Thinking. Les performances dans le benchmark Qwen3 235B étaient de 32 tokens par seconde sur l'ensemble du cluster.