Inferenzkosten-Krise einer App mit Milliarden DAU: Umgekehrte Kostenstruktur, Multi-Cloud-Architektur reduziert GPU-Cluster um 75 %

Eine KI-gestützte Mode- und Shopping-Empfehlungs-App mit über 100 Millionen täglich aktiven Nutzern musste eine schwere Kostenkrise bewältigen. Die App generierte realistische Szenenbilder auf den Sperrbildschirmen der Nutzer basierend auf Selfies, aber der Umsatz pro Nutzer (ARPU) betrug nur 2 US-Dollar, während die Kosten für Cloud-Computing und Datentransfer bei 3 US-Dollar pro Nutzer lagen, was zu einem Nettoverlust von 1 US-Dollar pro Nutzer führte. Zuvor nutzte das Unternehmen NVIDIA L4 GPUs von einem führenden Cloud-Anbieter, wobei die Erzeugung eines Bildes 12 Sekunden dauerte und hohe Egress-Gebühren sowie Latenzzeiten die Kosten weiter in die Höhe trieben. Das Unternehmen migrierte daraufhin seine KI-Inferenzschicht zur Cloud von Akamai und stellte auf NVIDIA RTX PRO 6000 GPUs um. Mit schnellerer Generierung (3-5 Sekunden pro Bild) und Unterstützung für FP4-Quantisierung wurde die gesamte GPU-Cluster-Größe um 75 % reduziert, und die Kosten pro Bild waren niedriger als mit L4. Akamai bot außerdem Egress-Gebühren von 0,005 US-Dollar pro Gigabyte an, was weniger als ein Zwanzigstel der herkömmlichen Cloud-Anbieter ist, und betrieb weltweit 19 GPU-Rechenzentren sowie über 4.400 Edge-Knoten, wodurch die Latenzzeit für 95 % der Internetnutzer auf unter 10 Millisekunden sank. Die App verfolgte einen hybriden Multi-Cloud-Ansatz, indem sie ihre Datenbank und das Hauptprogramm auf der alten Cloud beließ und nur die Inferenzschicht zu Akamai migrierte, wobei der Open-Source-Scheduler MultiKueue für das Lastmanagement eingesetzt wurde. Akamai bot außerdem Migrationszuschüsse von bis zu 5.000 US-Dollar und rund um die Uhr Support an. Darüber hinaus übernahm auch das koreanische Spieleunternehmen DevSisters die RTX PRO 6000 für die Echtzeit-Dialoggenerierung von Nicht-Spieler-Charakteren (NPC) und nutzte die RTX 4000 Ada für die Erstellung von Offline-Assets.