Jälleenmyyntimarkkinat, jotka ruokkivat token-skämmeriä ja huijareita

Мэтт Ленхард провёл исследование рынка перепродажи токенов LLM со скидкой, который в основном базируется в Китае. Перепродавцы предоставляют доступ к LLM-прокси, предлагая значительные скидки на обычные цены API, достигая этого за счёт злоупотребления бесплатными пробными версиями, проксирования через незащищённые поддержанные боты, а также с помощью украденных кредитных карт или атак chargeback. Используемое программное обеспечение для прокси является открытым исходным кодом — в основном one-api и его более активно развиваемый форк new-api, оба легитимных API-прокси продукта, которые можно использовать для балансировки запросов между пулом учётных данных. Покупатели ищут дешёвые токены, стремятся обойти географические ограничения и в некоторых случаях собирают данные для дистилляции моделей. Автор статьи отмечает, что существование этого рынка делает его ещё более осторожным при публичном развёртывании приложений на основе LLM из-за страха злоупотреблений. Он призывает LLM-вендоров улучшить строгие лимиты для ключей API.