四台配备1.5TB内存的Mac Studio集群运行单GPU无法容纳的AI模型

苹果公司向作者提供了四台搭载M3 Ultra的Mac Studio，用于测试通过Thunderbolt实现的RDMA技术——这是macOS 26.2的一项新功能，可将多台计算机的内存整合为一个共享池。该集群的统一内存总量为1.5 TB，整套设备价值约40,000美元（这些计算机是借来测试的）。任务分配使用了Exo 1.0工具。得益于RDMA，内存访问延迟从300微秒降低到50微秒以下。该集群功耗低于250瓦，运行几乎静音。下方两台Mac Studio各配备512 GB内存和32个处理器核心（每台11,699美元），上方两台内存减半（每台8,099美元）。在HPL测试中，单台Mac Studio性能为1.3 TFlops，四台集群达到3.7 TFlops。激活RDMA需要手动在恢复模式下输入命令。该集群能够运行超过600 GB的模型，例如Kimi K2 Thinking。在Qwen3 235B基准测试中，完整集群的性能为32个token/秒。