Laitteisto ja päättely RSS

Neljä Mac Studio -yksikköä klusteroituna 1,5 TB:n muistilla ajavat tekoälyä, joka ei mahdu yhdelle GPU:lle

Toimittaja yhdisti neljä Mac Studio -yksikköä, joissa on M3 Ultra, klusteriksi, jonka kokonaismuisti on 1,5 TB käyttämällä RDMA-tekniikkaa Thunderbolt 5:n kautta. Klusteri ajoi massiivisia tekoälymalleja, kuten Kimi K2 Thinking (yli 600 GB), joita ei voida ladata yksittäiseen tietokoneeseen. Projekti toteutettiin avoimen lähdekoodin työkalulla Exo 1.0.

AppleApple NVIDIANVIDIA ExoExo Moonshot AIMoonshot AI DeepSeekDeepSeek Alibaba/QwenAlibaba/Qwen
Habr — хаб ML24.07 · 04:03
Tuoreet uutiset