Teks OCR Warisan Membuat Model Bahasa Belajar Hanya pada Efisiensi 30 Persen – Proyek FineBooks Bertujuan Mengubahnya

Proyek FineBooks oleh Hugging Face dan EleutherAI menguji 14 model OCR sumber terbuka pada 2.165 halaman buku bersejarah, dan memublikasikan hasilnya sebagai papan peringkat. Motivasi di baliknya adalah teks OCR dari perpustakaan sering kali memiliki kekurangan, dan model bahasa yang dilatih pada teks semacam itu belajar dengan efisiensi hanya 30% dibandingkan dengan transkripsi manusia, seperti yang diukur oleh proyek Talkie. Model terdepan, dots.mocr, memiliki 3 miliar parameter dan mencapai akurasi 97,6% dengan biaya 1,94 dolar per seribu halaman, sementara OvisOCR2, dengan hanya 0,9 miliar parameter, menempati peringkat kedua dengan biaya 0,46 dolar per seribu halaman, menunjukkan bahwa ukuran model dan kualitas OCR hampir tidak berkorelasi untuk dokumen bersejarah. Evaluasi ini hanya mencakup skrip Antiqua dalam bahasa Inggris, Prancis, Jerman, dan Latin, serta terbatas pada dokumen mirip buku dengan teks mengalir satu kolom. Sebagai langkah berikutnya, tim berencana untuk memproses ulang sekitar 200.000 dokumen BHL domain publik dengan salah satu model terdepan dan memublikasikan teksnya sebagai kumpulan data terbuka. Meskipun model-model ini sudah cukup baik untuk pelatihan AI, mereka menggantikan karakter arkais seperti s panjang dengan padanan modern, yang menjadi masalah untuk transkripsi akademis; penyetelan halus yang ditargetkan dapat memperbaikinya menurut penulis.