10억 DAU 앱의 컴퓨팅 위기: 추론 비용 역전, 크로스 클라우드 아키텍처로 GPU 클러스터 75% 축소

1억 명 이상의 일간 활성 사용자(DAU)를 보유한 AI 기반 패션·쇼핑 추천 앱이 심각한 비용 위기에 직면했다. 이 앱은 사용자의 셀피를 기반으로 사실적인 배경 이미지를 생성해 잠금화면에 적용해주는 서비스를 제공했는데, 사용자당 매출(ARPU, Average Revenue Per User)은 2달러에 불과한 반면 클라우드 컴퓨팅과 데이터 전송 비용은 사용자당 3달러에 달해, 결국 사용자당 1달러의 순손실이 발생했다. 이전에는 대형 클라우드 제공업체의 NVIDIA L4 GPU를 사용했는데, 이미지 한 장을 생성하는 데 12초가 걸렸고, 높은 이그레스(egress, 데이터 반출) 비용과 지연 시간이 비용 부담을 더욱 가중시켰다. 이후 이 회사는 AI 추론 계층을 Akamai의 클라우드로 이전하며 NVIDIA RTX PRO 6000 GPU로 전환했다. 이미지당 생성 시간이 3~5초로 빨라지고 FP4 양자화 지원이 더해지면서 전체 GPU 클러스터 규모를 75% 줄일 수 있었고, 이미지당 비용도 L4를 사용할 때보다 낮아졌다. Akamai는 GB당 0.005달러의 이그레스 비용을 제공했는데, 이는 기존 클라우드의 20분의 1 수준에도 못 미치는 수준이다. 또한 전 세계에 19개의 GPU 데이터센터와 4,400개 이상의 엣지 노드를 배치해, 전체 인터넷 사용자의 95%에 대해 지연 시간을 10밀리초 이하로 낮췄다. 이 앱은 하이브리드 멀티클라우드 방식을 채택해 데이터베이스와 메인 프로그램은 기존 클라우드에 그대로 두고 추론 계층만 Akamai로 이전했으며, 오픈소스 스케줄러인 MultiKueue를 활용해 부하 분산을 처리했다. Akamai는 최대 5,000달러의 마이그레이션 보조금과 24시간 연중무휴 지원도 제공했다. 아울러 한국의 게임 회사 데브시스터즈(DevSisters)도 실시간 NPC 대화 생성을 위해 RTX PRO 6000을 도입했으며, 오프라인 에셋 제작에는 RTX 4000 Ada를 활용하고 있다.