Miljardin päivittäisen käyttäjän sovelluksen laskentakriisi: päättelyn kustannukset kääntyivät nurin, monipilviarkkitehtuuri pienensi GPU-klusteria 75 prosenttia

Eräs tekoälypohjainen muoti- ja ostossuosituksia tarjoava sovellus, jolla on yli 100 miljoonaa päivittäistä aktiivista käyttäjää, kohtasi vakavan kustannuskriisin. Sovellus loi realistisia kohtauskuvia käyttäjien lukitusnäytöille selfieiden perusteella, mutta käyttäjäkohtainen liikevaihto (ARPU) oli vain kaksi dollaria, kun taas pilvilaskennan ja tiedonsiirron kustannukset olivat kolme dollaria käyttäjää kohden, mikä johti yhden dollarin nettotappioon käyttäjää kohden. Aiemmin yritys käytti NVIDIA L4 -näytönohjaimia suuren pilvipalveluntarjoajan palvelimilla, joissa yhden kuvan luominen kesti 12 sekuntia, ja suuret egress-maksut ja viive nostivat kustannuksia entisestään. Yritys siirsi sitten tekoälypäätelmäkerroksensa Akamain pilveen ja vaihtoi NVIDIA RTX PRO 6000 -näytönohjaimiin. Nopeamman kuvantuoton (3-5 sekuntia per kuva) ja FP4-kvantisoinnin tuen ansiosta GPU-klusterin kokoa voitiin pienentää 75 prosenttia, ja kustannus kuvaa kohden tuli alhaisemmaksi kuin L4:llä. Akamai tarjosi myös egress-maksuja 0,005 dollaria gigatavulta, mikä on alle 1/20 perinteisten pilvipalveluiden hinnoista, ja otti käyttöön 19 GPU-tietokeskusta sekä yli 4 400 reunanoodia maailmanlaajuisesti, mikä pienensi viiveen alle 10 millisekuntiin 95 prosentille internetin käyttäjistä. Sovellus omaksui hybridisen monipilviratkaisun, jossa tietokanta ja pääohjelma pidettiin vanhassa pilvessä ja ainoastaan päätelmäkerros siirrettiin Akamaihin käyttäen avoimen lähdekoodin MultiKueue-ajastinta kuormituksen tasaamiseen. Akamai tarjosi myös siirtymätukia aina 5 000 dollariin asti sekä ympärivuorokautisen tuen. Lisäksi korealainen peliyhtiö DevSisters otti käyttöön RTX PRO 6000 -näytönohjaimet reaaliaikaiseen NPC-dialogin tuottamiseen ja RTX 4000 Ada -näytönohjaimet offline-assettien luontiin.