Four Mac Studio Units Clustered with 1.5 TB Memory Run AI That Does Not Fit on a Single GPU
Apple
NVIDIA
Exo
Moonshot AI
DeepSeek
Alibaba/Qwen
A journalist combined four Mac Studio units with M3 Ultra into a cluster with a total memory of 1.5 TB using RDMA technology via Thunderbolt 5. The cluster ran massive AI models such as Kimi K2 Thinking (over 600 GB), which cannot be loaded on a single computer. The project was implemented using the open-source tool Exo 1.0.
कंपनी एप्पल ने लेखक को एम3 अल्ट्रा पर चार मैक स्टूडियो प्रदान किए, ताकि थंडरबोल्ट के माध्यम से आरडीएमए तकनीक का परीक्षण किया जा सके — यह मैकओएस 26.2 की एक नई सुविधा है, जो कई कंप्यूटरों की रैम को एक साझा पूल में जोड़ने की अनुमति देती है। क्लस्टर की कुल यूनिफाइड मेमोरी 1.5 टीबी थी, और इस सेट की लागत लगभग 40,000 डॉलर थी (कंप्यूटर परीक्षण के लिए उधार दिए गए थे)। कार्यों को वितरित करने के लिए एक्सो 1.0 टूल का उपयोग किया गया। आरडीएमए के कारण, मेमोरी एक्सेस में विलंबता 300 माइक्रोसेकंड से घटकर 50 माइक्रोसेकंड से भी कम हो गई। क्लस्टर 250 वॉट से कम बिजली की खपत करता है और लगभग बिना शोर के काम करता है। नीचे के दो मैक स्टूडियो में 512 जीबी मेमोरी और 32 प्रोसेसर कोर हैं (प्रत्येक की कीमत $11,699), ऊपर के दो में आधी मेमोरी है (प्रत्येक $8,099)। एचपीएल परीक्षण में, एक मैक स्टूडियो ने 1.3 टेराफ्लॉप्स का प्रदर्शन किया, जबकि चार के क्लस्टर ने 3.7 टेराफ्लॉप्स। आरडीएमए को सक्रिय करने के लिए रिकवरी मोड में मैन्युअल रूप से एक कमांड दर्ज करना आवश्यक था। क्लस्टर ने 600 जीबी से अधिक वजन वाले मॉडल, जैसे किमी के2 थिंकिंग, को चलाने की अनुमति दी। क्वेन3 235बी बेंचमार्क में प्रदर्शन पूरे क्लस्टर पर 32 टोकन प्रति सेकंड था।
स्रोत: Habr — хаб ML —
मूल