10억 DAU 앱의 컴퓨팅 위기: 추론 비용 역전, 크로스 클라우드 아키텍처로 GPU 클러스터 75% 축소
일일 활성 사용자 1억 명이 넘는 글로벌 AI 패션 및 쇼핑 앱은 높은 추론 비용과 낮은 ARPU로 인해 사용자당 1달러의 손실을 보고 있었습니다. Akamai의 클라우드와 NVIDIA RTX PRO 6000 GPU, FP4 양자화로 전환하면서 비용이 극적으로 줄었고, GPU 클러스터 크기가 75%나 축소되었습니다.
NVIDIA
Akamai
QbitAI 量子位04.08 · 07:02