Bên trong thị trường relay thúc đẩy việc bán lại token và gian lận

Matt Lenhart đã tiến hành một cuộc điều tra về thị trường bán lại token LLM chiết khấu, chủ yếu dựa tại Trung Quốc. Các nhà bán lại cung cấp quyền truy cập vào proxy LLM, đưa ra mức giảm giá đáng kể so với giá API tiêu chuẩn bằng cách lạm dụng các bản dùng thử miễn phí, proxy thông qua các bot hỗ trợ không an toàn, cũng như sử dụng thẻ tín dụng bị đánh cắp hoặc tấn công chargeback. Phần mềm proxy được sử dụng là mã nguồn mở – chủ yếu là one-api và phiên bản fork phát triển tích cực hơn là new-api, cả hai đều là sản phẩm proxy API hợp pháp có thể được sử dụng để cân bằng tải các yêu cầu qua một nhóm thông tin xác thực. Người mua tìm kiếm token giá rẻ, nhằm vượt qua các hạn chế địa lý, và trong một số trường hợp, thu thập dữ liệu để chưng cất mô hình. Tác giả bài viết lưu ý rằng sự tồn tại của thị trường này khiến anh ấy càng thận trọng hơn khi triển khai công khai các ứng dụng dựa trên LLM vì lo ngại bị lạm dụng. Anh ấy kêu gọi các nhà cung cấp LLM thực thi các giới hạn nghiêm ngặt hơn đối với các khóa API.