Шок от счетов заставляет руководителей пересматривать ИИ-стратегии

В подкасте The Register Kettle обсуждается проблема роста стоимости корпоративного ИИ. По данным отчёта KPMG, 29% старших руководителей из 2000 опрошенных в 20 странах не понимают, как растут операционные затраты при масштабировании ИИ, и почти половина пересматривает сроки развёртывания. Компании, такие как Anthropic, OpenAI и GitHub, перешли с фиксированной подписки на повременную тарификацию токенов, что привело к «шоку от счетов». Исследование Gartner показало, что к 2028 году затраты на агента кодирования на одного разработчика превысят среднюю зарплату разработчика в мире, а в странах с низким доходом (например, Индия) это уже происходит. При этом нет прямой связи между потреблением токенов и продуктивностью: более аккуратное использование даёт лучший код и меньшие расходы. В ответ на эту ситуацию инженер Netflix (не связанный с работой в Netflix) создал open-source инструмент, который сокращает избыточные входные данные для LLM, экономя сотни тысяч долларов. Инструмент анализирует отправляемые данные, удаляет повторяющиеся фрагменты (схемы БД, JSON, логи) и использует кэширование, позволяя, например, при настройке кэша на час получать 90% экономии на чтении, хотя стоимость записи удваивается. Также отмечается, что компании-разработчики LLM, такие как Gartner, рекомендуют не полагаться на «токенмаксинг» (максимальное потребление токенов), а использовать более дешёвые и открытые модели, контролируя контекстное окно.