Milyar DAU'lu Uygulamanın Hesaplama Krizi: Çıkarım Maliyetleri Tersine Döndü, Bulutlar Arası Mimari GPU Kümesini %75 Azalttı

Yapay zeka destekli bir moda ve alışveriş öneri uygulaması, 100 milyondan fazla günlük aktif kullanıcıya sahip olmasına rağmen ciddi bir maliyet kriziyle karşı karşıya kaldı. Uygulama, kullanıcıların kilit ekranlarında özçekimlerine dayalı gerçekçi sahne görüntüleri oluşturuyordu, ancak kullanıcı başına gelir (ARPU) sadece 2 dolarken, bulut bilişim ve veri aktarımı maliyetleri kullanıcı başına 3 dolardı ve bu da kullanıcı başına 1 dolar net zarara yol açıyordu. Daha önce şirket, önde gelen bir bulut sağlayıcısından NVIDIA L4 GPU'lar kullanıyordu; burada bir görüntünün oluşturulması 12 saniye sürüyordu ve yüksek çıkış ücretleri ile gecikme süresi maliyetleri daha da artırıyordu. Şirket daha sonra yapay zeka çıkarım katmanını Akamai'nin bulutuna taşıdı ve NVIDIA RTX PRO 6000 GPU'larına geçti. Daha hızlı üretim (görüntü başına 3-5 saniye) ve FP4 nicemleme desteği sayesinde toplam GPU küme boyutu %75 azaltıldı ve görüntü başına maliyet L4'ten daha düşük hale geldi. Akamai ayrıca geleneksel bulutların 1/20'sinden daha az olan GB başına 0,005 dolar çıkış ücreti sundu ve dünya genelinde 19 GPU veri merkezi ve 4.400'den fazla uç düğümü dağıtarak internet kullanıcılarının %95'i için gecikme süresini 10 milisaniyenin altına indirdi. Uygulama, veritabanını ve ana programını eski bulutta tutarak yalnızca çıkarım katmanını Akamai'ye taşıyan ve yük dengeleme için açık kaynaklı MultiKueue zamanlayıcısını kullanan hibrit bir çoklu bulut yaklaşımını benimsedi. Akamai ayrıca 5.000 dolara kadar taşıma sübvansiyonu ve 7/24 destek sağladı. Ek olarak, Güney Koreli oyun şirketi DevSisters da gerçek zamanlı NPC diyalog üretimi için RTX PRO 6000'i benimserken, çevrimdışı varlık oluşturma için RTX 4000 Ada kullanıyor.