Token Bayilerini ve Dolandırıcılığı Besleyen Röle Pazarının İç Yüzü

Matt Lenhart, ağırlıklı olarak Çin merkezli olan indirimli LLM token yeniden satış pazarı üzerine bir araştırma yürüttü. Yeniden satıcılar, ücretsiz denemeleri kötüye kullanarak, güvenliği sağlanmamış desteklenen botlar üzerinden proxy yaparak, çalıntı kredi kartları veya chargeback saldırıları kullanarak standart API fiyatlarında büyük indirimler sunan LLM proxy'lerine erişim sağlıyor. Kullanılan proxy yazılımı açık kaynaklıdır: başta one-api ve onun daha aktif geliştirilen fork'u new-api olmak üzere, her ikisi de bir havuzdaki kimlik bilgileri arasında yük dengeleme talepleri için kullanılabilen meşru API proxy ürünleridir. Alıcılar ucuz tokenler arar, coğrafi kısıtlamaları aşmayı hedefler ve bazı durumlarda model damıtma için veri toplar. Makalenin yazarı, bu pazarın varlığının, suistimal korkusu nedeniyle LLM tabanlı uygulamaları herkese açık olarak dağıtırken kendisini daha da temkinli hale getirdiğini belirtiyor. LLM sağlayıcılarını, API anahtarları için daha katı sınırlamalar uygulamaya çağırıyor.