Dentro do Mercado de Revenda que Alimenta Scalpers e Golpistas de Tokens
Uma investigação de Matt Lenhart descobriu um mercado de revenda de tokens de LLM com desconto, operando em grande parte da China. Revendedores exploram testes gratuitos, backends de chatbot não seguros, cartões de crédito roubados e ataques de estorno. O software proxy depende dos projetos de código aberto one-api e new-api.
Мэтт Ленхард провел расследование рынка перепродажи токенов LLM со скидкой, который в основном базируется в Китае. Перепродавцы предоставляют доступ к LLM-прокси, предлагая значительные скидки на обычные цены API, достигая этого за счет злоупотребления бесплатными пробными версиями, проксирования через незащищенные поддержанные боты, а также с помощью украденных кредитных карт или атак chargeback. Используемое программное обеспечение для прокси является открытым исходным кодом — в основном one-api и его более активно развиваемый форк new-api, оба легитимных API-прокси продукта, которые можно использовать для балансировки запросов между пулом учетных данных. Покупатели ищут дешевые токены, стремятся обойти географические ограничения и в некоторых случаях собирают данные для дистилляции моделей. Автор статьи отмечает, что существование этого рынка делает его еще более осторожным при публичном развертывании приложений на основе LLM из-за страха злоупотреблений. Он призывает разработчиков LLM улучшить строгие лимиты для ключей API.
Fonte: Simon Willison —
original