Neljä Mac Studio -yksikköä klusteroituna 1,5 TB:n muistilla ajavat tekoälyä, joka ei mahdu yhdelle GPU:lle
Apple
NVIDIA
Exo
Moonshot AI
DeepSeek
Alibaba/Qwen
Toimittaja yhdisti neljä Mac Studio -yksikköä, joissa on M3 Ultra, klusteriksi, jonka kokonaismuisti on 1,5 TB käyttämällä RDMA-tekniikkaa Thunderbolt 5:n kautta. Klusteri ajoi massiivisia tekoälymalleja, kuten Kimi K2 Thinking (yli 600 GB), joita ei voida ladata yksittäiseen tietokoneeseen. Projekti toteutettiin avoimen lähdekoodin työkalulla Exo 1.0.
Apple toimitti kirjoittajalle neljä Mac Studioa M3 Ultra -piirillä testatakseen RDMA-tekniikkaa Thunderbolt-yhteydellä – tämä on macOS 26.2:n uusi ominaisuus, joka mahdollistaa useiden tietokoneiden keskusmuistin yhdistämisen yhteiseksi resurssiksi. Klusterin yhdistetyn muistin kokonaismäärä oli 1,5 teratavua, ja tällaisen kokoonpanon hinta on noin 40 000 dollaria (tietokoneet lainattiin testejä varten). Tehtävien jakamiseen käytettiin Exo 1.0 -työkalua. RDMA:n ansiosta muistin käyttöön liittyvä viive laski 300 mikrosekunnista alle 50 mikrosekuntiin. Klusteri kuluttaa alle 250 wattia ja toimii lähes äänettömästi. Kahdessa alemmassa Mac Studiossa on 512 gigatavua muistia ja 32 suoritinydintä (kukin 11 699 dollaria), kahdessa ylemmässä on puolet vähemmän muistia (kukin 8 099 dollaria). HPL-testissä yksi Mac Studio tuotti 1,3 teraflopsia ja neljän klusteri 3,7 teraflopsia. RDMA:n käyttöönotto vaati komennon manuaalista syöttämistä palautustilassa. Klusteri mahdollisti yli 600 gigatavun painoisten mallien, kuten Kimi K2 Thinking, suorittamisen. Qwen3 235B -suorituskykytestissä saavutettiin 32 tokenia sekunnissa koko klusterilla.
Lähde: Habr — хаб ML —
Alkuperäinen