Krisis Komputasi Aplikasi dengan Miliar Pengguna Harian: Biaya Inferensi Terbalik, Arsitektur Lintas-Cloud Memangkas Klaster GPU hingga 75%

Aplikasi rekomendasi belanja dan fashion bertenaga AI, dengan lebih dari 100 juta pengguna aktif harian, menghadapi krisis biaya yang parah. Aplikasi ini menghasilkan gambar pemandangan realistis di layar kunci pengguna berdasarkan swafoto, tetapi pendapatan per pengguna (ARPU) hanya $2, sementara biaya komputasi cloud dan transfer data mencapai $3 per pengguna, sehingga mengalami kerugian bersih $1 per pengguna. Sebelumnya, perusahaan menggunakan GPU NVIDIA L4 dari penyedia cloud terkemuka, di mana menghasilkan satu gambar membutuhkan waktu 12 detik, dan biaya egress (transfer data keluar) yang tinggi serta latensi semakin meningkatkan biaya. Perusahaan kemudian memindahkan lapisan inferensi AI-nya ke cloud Akamai, beralih ke GPU NVIDIA RTX PRO 6000. Dengan generasi yang lebih cepat (3-5 detik per gambar) dan dukungan kuantisasi FP4, ukuran total kluster GPU berkurang sebesar 75%, dan biaya per gambar menjadi lebih rendah daripada dengan L4. Akamai juga menawarkan biaya egress sebesar $0,005/GB, yang kurang dari 1/20 biaya cloud tradisional, dan menyebarkan 19 pusat data GPU serta lebih dari 4.400 simpul edge secara global, mengurangi latensi hingga di bawah 10ms untuk 95% pengguna internet. Aplikasi tersebut mengadopsi pendekatan multi-cloud hibrida, menjaga basis data dan program utama di cloud lama dan hanya memindahkan lapisan inferensi ke Akamai, menggunakan penjadwal MultiKueue open-source untuk penyeimbangan beban. Akamai juga menyediakan subsidi migrasi hingga $5.000 dan dukungan 24/7. Selain itu, perusahaan game Korea DevSisters juga mengadopsi RTX PRO 6000 untuk pembuatan dialog NPC real-time, menggunakan RTX 4000 Ada untuk pembuatan aset offline.