十亿日活应用的算力危机:推理成本倒挂,跨云架构缩减GPU集群75%
一款日活跃用户超1亿的跨境电商AI时尚购物应用,因高推理成本和低每用户平均收入而每位用户亏损1美元。切换至配备NVIDIA RTX PRO 6000 GPU和FP4量化技术的Akamai云后,成本大幅降低,GPU集群规模缩减了75%。
NVIDIA
Akamai
QbitAI 量子位04.08 · 07:02
一款日活跃用户超1亿的跨境电商AI时尚购物应用,因高推理成本和低每用户平均收入而每位用户亏损1美元。切换至配备NVIDIA RTX PRO 6000 GPU和FP4量化技术的Akamai云后,成本大幅降低,GPU集群规模缩减了75%。
NVIDIA
Akamai