레거시 OCR 텍스트, 언어 모델 학습 효율 30퍼센트에 불과 – FineBooks 프로젝트가 이를 바꾸려 한다

Hugging Face와 EleutherAI의 FineBooks 프로젝트는 2,165페이지의 역사적인 책 페이지에서 14개의 오픈소스 OCR 모델을 테스트하고, 그 결과를 리더보드로 공개했다. 이 프로젝트의 동기는 도서관의 OCR 텍스트에 오류가 많고, 그러한 텍스트로 학습된 언어 모델은 인간의 필사본에 비해 30%의 효율만을 보인다는 점에서 비롯되었다. 이는 Talkie 프로젝트에서 정량화한 바 있다. 선두 모델인 dots.mocr는 30억 개의 파라미터를 가지며, 1,000페이지당 1.94달러의 비용으로 97.6%의 정확도를 달성했다. 반면, 9억 개의 파라미터만을 가진 OvisOCR2는 1,000페이지당 0.46달러로 2위를 차지하여, 역사 문서에 있어 모델 크기와 OCR 품질은 거의 상관관계가 없음을 보여준다. 평가는 영어, 프랑스어, 독일어, 라틴어의 Antiqua 서체에 한정되었으며, 단일 컬럼의 흐르는 텍스트가 있는 책 형태의 문서로 제한된다. 다음 단계로, 팀은 선두 모델 중 하나를 사용하여 약 20만 건의 공개 도메인 BHL 문서를 재처리하고, 그 텍스트를 오픈 데이터셋으로 공개할 계획이다. 모델이 AI 훈련에는 충분하지만, 긴 s와 같은 고어 문자를 현대 문자로 대체하여 학술적 필사에는 문제가 있다고 저자들은 밝혔다. 목표 지향적인 파인튜닝이 이 문제를 해결할 수 있을 것이라고 한다.