Кризис вычислений в приложении с миллиардом DAU: затраты на инференс перевернулись, кросс-облачная архитектура сокращает GPU-кластер на 75%
Кросс-граничное ИИ-приложение для моды и шопинга с более чем 100 миллионами активных пользователей в день теряло 1 доллар на пользователе из-за высоких затрат на инференс и низкого ARPU. Переход на облако Akamai с GPU NVIDIA RTX PRO 6000 и FP4-квантизацией позволил резко снизить затраты, сократив размер GPU-кластера на 75%.
QbitAI 量子位04.08 · 07:02