रिले बाजार के अंदर: टोकन पुनर्विक्रेताओं और धोखाधड़ी को बढ़ावा देने वाला बाजार

मैट लेनहार्ट ने डिस्काउंट LLM टोकन पुनर्विक्रय बाजार की जांच की, जो मुख्य रूप से चीन में स्थित है। पुनर्विक्रेता मुफ्त परीक्षणों का दुरुपयोग करके, असुरक्षित समर्थित बॉट्स के माध्यम से प्रॉक्सी करके, तथा चुराए गए क्रेडिट कार्ड या चार्जबैक हमलों का उपयोग करके मानक एपीआई कीमतों पर महत्वपूर्ण छूट प्रदान करते हुए LLM प्रॉक्सी तक पहुंच प्रदान करते हैं। उपयोग की जाने वाली प्रॉक्सी सॉफ्टवेयर ओपन सोर्स है — मुख्य रूप से one-api और इसका अधिक सक्रिय रूप से विकसित फोर्क new-api, दोनों ही वैध API प्रॉक्सी उत्पाद हैं जिनका उपयोग क्रेडेंशियल्स के एक पूल में लोड बैलेंसिंग अनुरोधों के लिए किया जा सकता है। खरीदार सस्ते टोकन चाहते हैं, भौगोलिक प्रतिबंधों को दरकिनार करने का लक्ष्य रखते हैं, और कुछ मामलों में मॉडल डिस्टिलेशन के लिए डेटा एकत्र करते हैं। लेख के लेखक ने नोट किया कि इस बाजार के अस्तित्व के कारण दुरुपयोग के डर से वह LLM-आधारित एप्लिकेशन को सार्वजनिक रूप से तैनात करते समय और भी अधिक सावधान हो गए हैं। वह LLM विक्रेताओं से API कुंजियों के लिए सख्त सीमाएं लागू करने का आह्वान करते हैं।