Văn bản OCR cũ khiến mô hình ngôn ngữ học chỉ đạt hiệu suất 30% – dự án FineBooks nhằm thay đổi điều đó

Hugging Face và EleutherAI thực hiện dự án FineBooks, đã thử nghiệm 14 mô hình OCR mã nguồn mở trên 2.165 trang sách lịch sử và công bố kết quả dưới dạng bảng xếp hạng. Động lực của dự án là văn bản OCR từ các thư viện thường có lỗi, và một mô hình ngôn ngữ được huấn luyện trên các văn bản như vậy chỉ đạt hiệu quả 30% so với bản phiên âm của con người, theo định lượng từ dự án Talkie. Mô hình dẫn đầu, dots.mocr, có 3 tỷ tham số và đạt độ chính xác 97,6% với chi phí 1,94 đô la mỗi nghìn trang, trong khi OvisOCR2, chỉ với 0,9 tỷ tham số, xếp thứ hai với chi phí 0,46 đô la mỗi nghìn trang, cho thấy kích thước mô hình và chất lượng OCR gần như không tương quan với nhau đối với tài liệu lịch sử. Đánh giá chỉ bao gồm chữ Antiqua trong các ngôn ngữ Anh, Pháp, Đức và La-tinh, và chỉ giới hạn trong các tài liệu dạng sách có văn bản trôi chảy một cột. Bước tiếp theo, nhóm dự định xử lý lại khoảng 200.000 tài liệu BHL thuộc phạm vi công cộng bằng một trong các mô hình dẫn đầu và công bố văn bản dưới dạng tập dữ liệu mở. Mặc dù các mô hình này đủ tốt cho việc huấn luyện AI, chúng thay thế các ký tự cổ như chữ s dài bằng các ký tự hiện đại tương đương, điều này gây khó khăn cho việc phiên âm học thuật; theo các tác giả, việc tinh chỉnh có mục tiêu có thể khắc phục vấn đề này.