硬件与推理 RSS

硬件与推理 🇷🇺

四台Mac Studio组成集群,内存达1.5 TB——启动了一张显卡装不下的AI

作者用四台Mac Studio电脑构建了一个集群,利用Apple提供的1.5 TB统一内存,通过Exo 1.0和Thunderbolt 5上的远程直接内存访问(RDMA)技术。该集群在HPL基准测试中达到3.7 teraflops,并成功运行了如Kimi K2 Thinking(600+ GB)和DeepSeek V3.1等大型AI模型,展示了组合内存对重型AI工作负载的优势。

AppleApple NVIDIANVIDIA ExoExo Moonshot AIMoonshot AI DeepSeekDeepSeek Alibaba/QwenAlibaba/Qwen
Habr — хаб ML24.07 · 04:03
最新新闻