Кризис вычислений в приложении с миллиардом DAU: затраты на инференс перевернулись, кросс-облачная архитектура сокращает GPU-кластер на 75%
Кросс-граничное ИИ-приложение для моды и шопинга с более чем 100 миллионами активных пользователей в день теряло 1 доллар на пользователе из-за высоких затрат на инференс и низкого ARPU. Переход на облако Akamai с GPU NVIDIA RTX PRO 6000 и FP4-квантизацией позволил резко снизить затраты, сократив размер GPU-кластера на 75%.
Приложение для подбора модной одежды и рекомендаций по покупкам на основе искусственного интеллекта, которым ежедневно пользуются более 100 миллионов активных пользователей, столкнулось с серьёзным кризисом издержек. Приложение генерировало реалистичные сюжетные изображения для экрана блокировки пользователей на основе селфи, однако средний доход на одного пользователя (ARPU, average revenue per
Показать ещё ↓
Источник: QbitAI 量子位 —
оригинал