Crisis de cómputo en una app de mil millones de usuarios diarios: costos de inferencia invertidos, la arquitectura multinube reduce el clúster de GPU en un 75%
Una app transfronteriza de moda y compras con IA, con más de 100 millones de usuarios activos diarios, perdía 1 dólar por usuario debido a los altos costos de inferencia y al bajo ARPU. Al cambiar a la nube de Akamai con GPUs NVIDIA RTX PRO 6000 y cuantización FP4, los costos se redujeron drásticamente, recortando el tamaño del clúster de GPU en un 75%.
NVIDIA
Akamai
QbitAI 量子位04.08 · 07:02