Crise de Computação em Aplicativo com Bilhões de DAUs: Custos de Inferência Invertidos, Arquitetura Multi-nuvem Reduz Cluster de GPUs em 75%
Um aplicativo transfronteiriço de moda e compras com IA, com mais de 100 milhões de usuários ativos diários, estava perdendo US$ 1 por usuário devido aos altos custos de inferência e baixo ARPU. A mudança para a nuvem da Akamai com GPUs NVIDIA RTX PRO 6000 e quantização FP4 reduziu drasticamente os custos, diminuindo o tamanho do cluster de GPUs em 75%.
NVIDIA
Akamai
QbitAI 量子位04.08 · 07:02