Dans les coulisses du marché de la revente alimentant les scalpers et les escrocs de tokens
Une enquête de Matt Lenhart a révélé un marché de revente de tokens de modèles de langage à prix réduits, opérant principalement depuis la Chine. Les revendeurs exploitent les essais gratuits, les backends de chatbots non sécurisés, les cartes de crédit volées et les attaques par rétrofacturation. Le logiciel proxy repose sur les projets open-source one-api et new-api.
Мэтт Ленхард провел расследование рынка перепродажи токенов LLM со скидкой, который в основном базируется в Китае. Перепродавцы предоставляют доступ к LLM-прокси, предлагая значительные скидки на обычные цены API, достигая этого за счет злоупотребления бесплатными пробными версиями, проксирования через незащищенные поддержанные боты, а также с помощью украденных кредитных карт или атак chargeback. Используемое программное обеспечение для прокси является открытым исходным кодом — в основном one-api и его более активно развиваемый форк new-api, оба легитимных API-прокси продукта, которые можно использовать для балансировки запросов между пулом учетных данных. Покупатели ищут дешевые токены, стремятся обойти географические ограничения и в некоторых случаях собирают данные для дистилляции моделей. Автор статьи отмечает, что существование этого рынка делает его еще более осторожным при публичном развертывании приложений на основе LLM из-за страха злоупотреблений. Он призывает LLM-вендоров улучшить строгие лимиты для ключей API.
Source: Simon Willison —
original