Empat Mac Studio Digabungkan dalam Kluster dengan Memori 1,5 TB – Meluncurkan AI yang Tidak Muat di Satu Kartu Grafis

Apple memberikan kepada penulis sebuah kluster yang terdiri dari empat komputer Mac Studio untuk menguji RDMA melalui Thunderbolt 5, sebuah fitur baru di macOS 26.2. Mesin-mesin tersebut dihubungkan menggunakan Exo 1.0, sebuah alat sumber terbuka untuk mendistribusikan tugas-tugas kecerdasan buatan melalui jaringan lokal. Total memori terpadu dari kluster ini adalah 1,5 TB, yang berharga sekitar $40.000, tetapi dipinjamkan oleh Apple. Penulis membandingkan chip M3 Ultra di Mac Studio dengan pesaing seperti Nvidia DGX Spark dan AMD AI Max+ 395, yang menunjukkan kinerja unggul dalam Geekbench, FP64 HPL, dan tugas inferensi. Kluster tersebut mencapai 3,7 teraflops dalam HPL, dengan penskalaan yang baik meskipun ada ketidakseimbangan memori antar node. Menggunakan Exo dengan RDMA, penulis berhasil menjalankan model-model besar seperti Kimi K2 Thinking (600+ GB) dan DeepSeek V3.1, mencapai hingga 32 token per detik dengan Qwen3 235B. Penulis mencatat bahwa meskipun kluster ini kuat, mengelola kluster macOS lebih rumit daripada Linux, dan ada tantangan dalam manajemen kabel serta kurangnya switch Thunderbolt 5. Seluruh sistem mengonsumsi kurang dari 250 watt dan berjalan dengan tenang.