Один RTX 5090, цены от 1 рубля до 20 726 рублей за миллион токенов, и почему API всё ещё дешевле
Технический директор по машинному обучению разбирает реальную стоимость запуска собственного RTX 5090 для инференса ИИ, показывая, что цена за миллион токенов варьируется от 1 рубля до более чем 20 000 рублей в зависимости от размера модели, квантования и одновременной нагрузки. В статье утверждается, что, несмотря на эти цифры, для большинства команд API-сервисы часто остаются дешевле, так как точка безубыточности довольно высока.
Автор, ML CTO, рассматривает постоянный спор о покупке GPU для самостоятельного размещения инференса против оплаты облачных API. Он рассчитывает стоимость работы RTX 5090 (32 ГБ) в России, включая амортизацию, электроэнергию и системные затраты, получая около 17 рублей в час или 12 435 рублей в месяц при круглосуточной работе. В статье показано, что цена за миллион токенов на той же карте
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал