旧式OCRテキストは言語モデルの学習効率を30パーセントに留める――FineBooksプロジェクトが変革を目指す
Hugging FaceとEleutherAIのFineBooksプロジェクトは、2,000ページ以上の歴史的な書籍ページで14のオープンソースOCRモデルをテストしました。その結果、小規模なモデルが大規模な競合他社を上回ることが多く、最上位モデルは1,000ページあたり2ドル未満で97パーセントを超える文字精度を達成しました。著者によると、その品質はAIトレーニングには十分ですが、学術目的にはまだ不十分です。
Hugging Face
EleutherAI
PaddleOCR (Baidu)
LightOn
DeepSeek
The Decoder (DE)10.08 · 21:02
