अरब-डीएयू ऐप का कंप्यूट संकट: इन्फ्रेंस लागत उलटी, क्रॉस-क्लाउड आर्किटेक्चर ने GPU क्लस्टर 75% घटाया

एक AI-संचालित फैशन और शॉपिंग सिफारिश ऐप, जिसके 100 मिलियन से अधिक दैनिक सक्रिय उपयोगकर्ता हैं, को गंभीर लागत संकट का सामना करना पड़ा। ऐप उपयोगकर्ताओं के सेल्फी के आधार पर उनकी लॉक स्क्रीन पर यथार्थवादी दृश्य चित्र उत्पन्न करता था, लेकिन प्रति उपयोगकर्ता राजस्व (ARPU) केवल 2 डॉलर था, जबकि क्लाउड कंप्यूट और डेटा ट्रांसफर की लागत प्रति उपयोगकर्ता 3 डॉलर थी, जिसके परिणामस्वरूप प्रति उपयोगकर्ता 1 डॉलर का शुद्ध घाटा हुआ। पहले, कंपनी एक शीर्ष क्लाउड प्रदाता से NVIDIA L4 GPU का उपयोग करती थी, जहां एक छवि उत्पन्न करने में 12 सेकंड लगते थे, और उच्च एग्रेस (egress) शुल्क और विलंबता ने लागत को और बढ़ा दिया। कंपनी ने फिर अपने AI इंफरेंस स्तर को अकामाई (Akamai) क्लाउड पर स्थानांतरित कर दिया, NVIDIA RTX PRO 6000 GPU पर स्विच कर दिया। तेज़ जनरेशन (3-5 सेकंड प्रति छवि) और FP4 क्वांटाइजेशन समर्थन के साथ, कुल GPU क्लस्टर का आकार 75% कम हो गया, और प्रति छवि लागत L4 से कम हो गई। अकामाई ने $0.005/GB का एग्रेस शुल्क भी पेश किया, जो पारंपरिक क्लाउड के 1/20वें हिस्से से भी कम है, और दुनिया भर में 19 GPU डेटा सेंटर और 4,400 से अधिक एज नोड तैनात किए, जिससे 95% इंटरनेट उपयोगकर्ताओं के लिए विलंबता 10ms से कम हो गई। ऐप ने एक हाइब्रिड मल्टी-क्लाउड दृष्टिकोण अपनाया, अपने डेटाबेस और मुख्य कार्यक्रम को पुराने क्लाउड पर रखा और केवल इंफरेंस स्तर को अकामाई पर स्थानांतरित किया, लोड संतुलन के लिए ओपन-सोर्स MultiKueue शेड्यूलर का उपयोग किया। अकामाई ने $5,000 तक प्रवासन सब्सिडी और 24/7 समर्थन भी प्रदान किया। इसके अतिरिक्त, कोरियाई गेमिंग कंपनी DevSisters ने भी वास्तविक समय में NPC संवाद जनरेशन के लिए RTX PRO 6000 को अपनाया, ऑफलाइन एसेट निर्माण के लिए RTX 4000 Ada का उपयोग करते हुए।