AI開発者、トレーニング用に中古本を大量購入し廃棄

AI開発企業は、低品質なAI生成コンテンツが溢れるインターネットを避け、高品質なトレーニングデータセットを得るため、代理店を通じて中古の書籍を何百万冊も購入している。AnthropicはClaudeのトレーニング用に大量の印刷書籍をデジタル化するために数百万ドルを費やし、その後、Better World Booksから購入した書籍を廃棄した。裁判所はその使用をフェアユースと判断したが、Anthropicは700万冊の海賊版電子書籍ライブラリを巡り、最大15億ドルの罰金に直面している。同様の訴訟は、違法に入手した書籍のコピーをGeminiのトレーニングに使用したとしてGoogleに対しても提起されている。1億1100万冊の書籍をカタログ化するISBNdbデータベースは現在、AI開発者向けに卸売購入サービスを提供しており、1回の取引で数千冊から100万冊の注文がある。AnthropicのProject Panamaに携わったTom Harvey氏は、デジタル化には非破壊スキャンと破壊スキャンの両方が使用され、後者はより安価で高速だが、何百万冊もの書籍を破壊することを認めている。この慣行は、貴重または稀少な書籍を流通から排除し、スキャンされたコンテンツへの一般のアクセスを制限するという倫理的懸念を引き起こしている。