Vier Mac Studio Einheiten mit 1,5 TB Speicher geclustert betreiben KI, die nicht auf eine einzelne GPU passt

Apple hat dem Autor vier Mac Studio mit M3 Ultra für Tests der RDMA-Technologie über Thunderbolt zur Verfügung gestellt – eine neue Funktion von macOS 26.2, die es ermöglicht, den Arbeitsspeicher mehrerer Computer zu einem gemeinsamen Pool zusammenzufassen. Der gesamte einheitliche Speicher des Clusters betrug 1,5 TB, die Kosten für diesen Satz lagen bei etwa 40.000 US-Dollar (die Computer wurden für die Tests ausgeliehen). Für die Aufgabenverteilung kam das Tool Exo 1.0 zum Einsatz. Dank RDMA sank die Latenz beim Speicherzugriff von 300 Mikrosekunden auf unter 50 Mikrosekunden. Der Cluster verbraucht weniger als 250 Watt und arbeitet nahezu geräuschlos. Die beiden unteren Mac Studio haben je 512 GB Speicher und 32 Prozessorkerne (je 11.699 US-Dollar), die beiden oberen haben halb so viel Speicher (je 8.099 US-Dollar). Im HPL-Test erreichte ein einzelner Mac Studio 1,3 Teraflops, der Cluster aus vier Rechnern 3,7 Teraflops. Zur Aktivierung von RDMA musste manuell ein Befehl im Wiederherstellungsmodus eingegeben werden. Der Cluster ermöglichte den Start von Modellen mit einem Gewicht von über 600 GB, wie etwa Kimi K2 Thinking. Die Leistung im Benchmark Qwen3 235B betrug 32 Token pro Sekunde auf dem gesamten Cluster.