Hardware & Inferenz RSS

Vier Mac Studio Einheiten mit 1,5 TB Speicher geclustert betreiben KI, die nicht auf eine einzelne GPU passt

Ein Journalist kombinierte vier Mac Studio Einheiten mit M3 Ultra zu einem Cluster mit einem Gesamtspeicher von 1,5 TB unter Verwendung von RDMA-Technologie über Thunderbolt 5. Der Cluster führte massive KI-Modelle wie Kimi K2 Thinking (über 600 GB) aus, die auf einem einzelnen Computer nicht geladen werden können. Das Projekt wurde mit dem Open-Source-Tool Exo 1.0 umgesetzt.

AppleApple NVIDIANVIDIA ExoExo Moonshot AIMoonshot AI DeepSeekDeepSeek Alibaba/QwenAlibaba/Qwen
Habr — хаб ML24.07 · 04:03
Aktuelle Nachrichten