داخل سوق إعادة البيع الذي يغذي محتالي الرموز المميزة

Мэтт Ленхард провел расследование рынка перепродажи токенов больших языковых моделей (LLM) со скидкой, который в основном базируется в Китае. Перепродавцы предоставляют доступ к LLM-прокси, предлагая значительные скидки на обычные цены через интерфейс прикладного программирования (API), достигая этого за счет злоупотребления бесплатными пробными версиями, проксирования через незащищенные поддержанные боты, а также с помощью украденных кредитных карт или атак chargeback. Используемое программное обеспечение для прокси является открытым исходным кодом — в основном one-api и его более активно развиваемый форк new-api, оба легитимных API-прокси продукта, которые можно использовать для балансировки запросов между пулом учетных данных. Покупатели ищут дешевые токены, стремятся обойти географические ограничения и в некоторых случаях собирают данные для дистилляции моделей. Автор статьи отмечает, что существование этого рынка делает его еще более осторожным при публичном развертывании приложений на основе LLM из-за страха злоупотреблений. Он призывает LLM-вендоров улучшить строгие лимиты для ключей API.