चार मैक स्टूडियो को 1.5 TB मेमोरी के साथ क्लस्टर में जोड़ा – एक ऐसा AI लॉन्च किया जो एक ग्राफिक्स कार्ड में नहीं समाता

Apple ने लेखक को RDMA over Thunderbolt 5 के परीक्षण के लिए चार Mac Studio कंप्यूटरों का एक क्लस्टर उपलब्ध कराया, जो macOS 26.2 में एक नई सुविधा है। मशीनों को Exo 1.0 का उपयोग करके जोड़ा गया, जो स्थानीय नेटवर्क पर AI कार्यों को वितरित करने का एक ओपन-सोर्स टूल है। क्लस्टर की कुल यूनिफाइड मेमोरी 1.5 TB है, जिसकी लागत लगभग $40,000 है, लेकिन इसे Apple ने उधार दिया था। लेखक ने Mac Studio में M3 Ultra चिप की तुलना Nvidia DGX Spark और AMD AI Max+ 395 जैसे प्रतिस्पर्धियों से की, जिसमें Geekbench, FP64 HPL और इन्फ्रेंस कार्यों में बेहतर प्रदर्शन दिखा। क्लस्टर ने HPL में 3.7 टेराफ्लॉप्स हासिल किया, जो नोड्स के बीच मेमोरी असंतुलन के बावजूद अच्छा स्केलिंग करता है। RDMA के साथ Exo का उपयोग करके, लेखक ने Kimi K2 Thinking (600+ GB) और DeepSeek V3.1 जैसे बड़े मॉडल सफलतापूर्वक चलाए, Qwen3 235B के साथ 32 टोकन प्रति सेकंड तक हासिल किया। लेखक ने नोट किया कि जबकि क्लस्टर शक्तिशाली है, macOS क्लस्टर प्रबंधन Linux की तुलना में अधिक बोझिल है, और केबल प्रबंधन तथा Thunderbolt 5 स्विच की कमी से चुनौतियां हैं। पूरा सिस्टम 250 वॉट से कम बिजली खपत करता है और शांत चलता है।