Sisäpiirissä: Välitysmarkkinat, jotka ruokkivat token-jälleenmyyjiä ja petoksia
Matt Lenhartin tutkimus paljastaa alennetuista kielimallitokeneista koostuvat jälleenmyyntimarkkinat, jotka toimivat pääasiassa Kiinassa. Jälleenmyyjät käyttävät ilmaisia kokeilujaksoja, suojaamattomia taustabotteja, varastettuja luottokortteja ja chargeback-hyökkäyksiä. Proxy-ohjelmisto perustuu avoimen lähdekoodin projekteihin one-api ja new-api.
Matt Lenhart tutki alennetun LLM-tokenien jälleenmyyntimarkkinan, joka on pääasiassa Kiinassa. Jälleenmyyjät tarjoavat pääsyn LLM-välityspalvelimiin tarjoten merkittäviä alennuksia tavallisiin API-hintoihin hyväksikäyttämällä ilmaisia kokeilujaksoja, välittämällä suojaamattomien tuettujen bottien kautta sekä käyttämällä varastettuja luottokortteja tai takaisinveloitushyökkäyksiä. Välityspalveluohjelmisto on avoimen lähdekoodin — pääasiassa one-api ja sen aktiivisemmin kehitetty haarukka new-api, molemmat laillisia API-välityspalvelutuotteita, joita voidaan käyttää kuormituksen tasaamiseen tunnusten joukossa. Ostajat etsivät halpoja tokeneita, pyrkivät kiertämään maantieteellisiä rajoituksia ja joissakin tapauksissa keräävät tietoja mallin tislaukseen. Artikkelin kirjoittaja toteaa, että tämän markkinan olemassaolo tekee hänet entistä varovaisemmaksi julkisesti käyttöönotettaessa LLM-pohjaisia sovelluksia väärinkäytön pelon vuoksi. Hän kehottaa LLM-toimittajia asettamaan tiukempia rajoituksia API-avaimille.
Lähde: Simon Willison —
Alkuperäinen