Vier Mac Studios zu einem Cluster mit 1,5 TB Speicher vereint – startete eine KI, die in keine einzelne Grafikkarte passt

Apple stellte dem Autor einen Cluster von vier Mac Studio Computern zum Testen von RDMA über Thunderbolt 5 zur Verfügung, einer neuen Funktion in macOS 26.2. Die Rechner wurden mit Exo 1.0 verbunden, einem Open-Source-Tool zur Verteilung von KI-Aufgaben über lokale Netzwerke. Der gesamte Unified Memory des Clusters beträgt 1,5 TB und kostet etwa 40.000 US-Dollar, wurde jedoch von Apple ausgeliehen. Der Autor verglich den M3 Ultra Chip im Mac Studio mit Konkurrenten wie dem Nvidia DGX Spark und dem AMD AI Max+ 395 und zeigte eine überlegene Leistung in Geekbench, FP64 HPL und Inferenzaufgaben. Der Cluster erreichte 3,7 Teraflops in HPL und skalierte trotz des Speicherungleichgewichts zwischen den Knoten gut. Mit Exo und RDMA führte der Autor erfolgreich massive Modelle wie Kimi K2 Thinking (über 600 GB) und DeepSeek V3.1 aus und erreichte mit Qwen3 235B bis zu 32 Tokens pro Sekunde. Der Autor merkte an, dass der Cluster zwar leistungsstark ist, die Verwaltung von macOS-Clustern jedoch umständlicher ist als unter Linux, und es Herausforderungen bei der Kabelverwaltung sowie einen Mangel an Thunderbolt-5-Switches gibt. Das gesamte System verbraucht weniger als 250 Watt und läuft leise.