토큰 리셀러와 사기를 부추기는 중계 시장 내부

Matt Lenhart가 주로 중국에 기반을 둔 할인 LLM 토큰 재판매 시장을 조사했습니다. 리셀러들은 LLM 프록시에 대한 접근을 제공하며, 무료 체험판을 악용하거나, 보안이 취약한 지원 봇을 통해 프록시하거나, 도난된 신용카드나 차지백 공격을 사용하여 표준 API 가격에서 상당한 할인을 제공합니다. 사용되는 프록시 소프트웨어는 오픈소스로, 주로 one-api와 더 활발히 개발된 포크 new-api로, 이들은 모두 자격 증명 풀에 걸쳐 요청을 로드밸런싱하는 데 사용될 수 있는 합법적인 API 프록시 제품입니다. 구매자들은 저렴한 토큰을 찾고, 지역 제한을 우회하며, 경우에 따라 모델 증류를 위한 데이터를 수집합니다. 기사 작성자는 이 시장의 존재로 인해 악용에 대한 두려움 때문에 LLM 기반 애플리케이션을 공개적으로 배포할 때 더욱 조심하게 된다고 언급합니다. 그는 LLM 공급업체들이 API 키에 대해 더 엄격한 제한을 적용할 것을 촉구합니다.