4대의 Mac Studio를 클러스터로 결합해 1.5TB 메모리 확보 – 단일 그래픽 카드에 들어가지 않는 AI 구동

Apple은 RDMA over Thunderbolt 5 테스트를 위해 저자에게 Mac Studio 컴퓨터 4대로 구성된 클러스터를 제공했습니다. 해당 기능은 macOS 26.2의 새로운 기능입니다. 이 컴퓨터들은 로컬 네트워크에서 AI 작업을 분산 처리하는 오픈소스 도구인 Exo 1.0을 사용하여 연결되었습니다. 클러스터의 통합 메모리 총합은 1.5TB이며, 비용은 약 4만 달러이지만 Apple이 대여해 주었습니다. 저자는 Mac Studio의 M3 Ultra 칩을 Nvidia DGX Spark 및 AMD AI Max+ 395와 같은 경쟁 제품과 비교하여 Geekbench, FP64 HPL 및 추론 작업에서 우수한 성능을 보여주었습니다. 이 클러스터는 HPL에서 3.7 테라플롭스를 기록했으며, 노드 간 메모리 불균형에도 불구하고 잘 확장되었습니다. 저자는 RDMA와 함께 Exo를 사용하여 Kimi K2 Thinking(600GB 이상) 및 DeepSeek V3.1과 같은 대규모 모델을 성공적으로 실행했으며, Qwen3 235B로 초당 최대 32토큰을 달성했습니다. 클러스터는 강력하지만 macOS 클러스터 관리가 Linux보다 더 번거롭고, 케이블 관리 문제와 Thunderbolt 5 스위치 부족 등의 과제가 있다고 저자는 언급했습니다. 전체 시스템의 소비 전력은 250와트 미만이며 조용히 작동합니다.