Binnen de Relais-Markt die Token-Resellers en Fraude Aandrijft
Een onderzoek van Matt Lenhart onthult een markt voor de doorverkoop van kortings-LLM-tokens, die voornamelijk in China opereert. Resellers maken gebruik van gratis proefversies, onbeschermde back-endbots, gestolen creditcards en terugboekingsaanvallen. De proxyssoftware is gebaseerd op de open-sourceprojecten one-api en new-api.
Matt Lenhart deed onderzoek naar de markt voor korting op LLM-tokens, die voornamelijk in China gevestigd is. Wederverkopers bieden toegang tot LLM-proxy's aan met aanzienlijke kortingen op de standaard API-prijzen door misbruik te maken van gratis proefperiodes, door te proxyën via onbeveiligde ondersteunde bots, of door gestolen creditcards of chargeback-aanvallen te gebruiken. De proxysoftware is open source — voornamelijk one-api en de actiever ontwikkelde fork new-api, beide legitieme API-proxyproducten die gebruikt kunnen worden voor load balancing van verzoeken over een pool van inloggegevens. Kopers zoeken goedkope tokens, proberen geografische beperkingen te omzeilen en in sommige gevallen gegevens te verzamelen voor modeldistillatie. De auteur van het artikel merkt op dat het bestaan van deze markt hem nog voorzichtiger maakt bij het publiekelijk inzetten van LLM-gebaseerde applicaties uit angst voor misbruik. Hij roept LLM-leveranciers op om strengere limieten in te voeren voor API-sleutels.
Bron: Simon Willison —
origineel