四台Mac Studio组成集群,内存达1.5 TB——启动了一张显卡装不下的AI
作者用四台Mac Studio电脑构建了一个集群,利用Apple提供的1.5 TB统一内存,通过Exo 1.0和Thunderbolt 5上的远程直接内存访问(RDMA)技术。该集群在HPL基准测试中达到3.7 teraflops,并成功运行了如Kimi K2 Thinking(600+ GB)和DeepSeek V3.1等大型AI模型,展示了组合内存对重型AI工作负载的优势。
Apple
NVIDIA
Exo
Moonshot AI
DeepSeek
Alibaba/Qwen
Habr — хаб ML24.07 · 04:03
