Inferenzkosten-Krise einer App mit Milliarden DAU: Umgekehrte Kostenstruktur, Multi-Cloud-Architektur reduziert GPU-Cluster um 75 %
Eine grenzüberschreitende KI-Mode- und Shopping-App mit über 100 Millionen täglich aktiven Nutzern verlor aufgrund hoher Inferenzkosten und niedrigem ARPU 1 US-Dollar pro Nutzer. Der Wechsel zur Cloud von Akamai mit NVIDIA RTX PRO 6000 GPUs und FP4-Quantisierung senkte die Kosten drastisch und reduzierte die Größe des GPU-Clusters um 75 %.
NVIDIA
Akamai
QbitAI 量子位04.08 · 07:02