Vier Mac Studios gecombineerd tot een cluster met 1,5 TB geheugen – lanceerde een AI die niet in één grafische kaart past

Apple leverde de auteur een cluster van vier Mac Studio-computers voor het testen van RDMA via Thunderbolt 5, een nieuwe functie in macOS 26.2. De machines werden verbonden met Exo 1.0, een open-source tool voor het verdelen van AI-taken over lokale netwerken. Het totale gedeelde geheugen van het cluster bedraagt 1,5 TB en kost ongeveer $40.000, maar werd uitgeleend door Apple. De auteur vergeleek de M3 Ultra-chip in Mac Studio met concurrenten zoals Nvidia DGX Spark en AMD AI Max+ 395, en toonde superieure prestaties in Geekbench, FP64 HPL en inferentietaken. Het cluster haalde 3,7 teraflops in HPL en schaalde goed ondanks de geheugenongelijkheid tussen de nodes. Met Exo en RDMA voerde de auteur met succes massieve modellen uit zoals Kimi K2 Thinking (meer dan 600 GB) en DeepSeek V3.1, met tot 32 tokens per seconde voor Qwen3 235B. De auteur merkte op dat het cluster weliswaar krachtig is, maar dat het beheer van macOS-clusters omslachtiger is dan met Linux, en dat er uitdagingen zijn met kabelbeheer en het ontbreken van Thunderbolt 5-switches. Het hele systeem verbruikt minder dan 250 watt en werkt stil.