Legacy-OCR-Texte lassen Sprachmodelle nur mit 30 Prozent Effizienz lernen – das FineBooks-Projekt will das ändern

Das Projekt FineBooks von Hugging Face und EleutherAI hat 14 Open-Source-OCR-Modelle auf 2.165 historischen Buchseiten getestet und die Ergebnisse als Bestenliste veröffentlicht. Der Anreiz dahinter ist, dass OCR-Texte aus Bibliotheken oft fehlerhaft sind und ein Sprachmodell, das mit solchen Texten trainiert wird, nur eine Effizienz von 30 % im Vergleich zu menschlichen Transkriptionen erreicht, wie das Projekt Talkie quantifiziert hat. Das führende Modell, dots.mocr, hat 3 Milliarden Parameter und erreicht eine Genauigkeit von 97,6 % bei Kosten von 1,94 Dollar pro tausend Seiten, während OvisOCR2 mit nur 0,9 Milliarden Parametern auf Platz zwei liegt und 0,46 Dollar pro tausend Seiten kostet. Dies zeigt, dass Modellgröße und OCR-Qualität bei historischen Dokumenten kaum korrelieren. Die Bewertung umfasst nur Antiqua-Schriften in Englisch, Französisch, Deutsch und Latein und beschränkt sich auf buchähnliche Dokumente mit einspaltigem Fließtext. Als nächsten Schritt plant das Team, etwa 200.000 gemeinfreie BHL-Dokumente mit einem der führenden Modelle erneut zu verarbeiten und den Text als offenen Datensatz zu veröffentlichen. Während die Modelle für KI-Training gut genug sind, ersetzen sie archaische Zeichen wie das lange s durch moderne Äquivalente, was für wissenschaftliche Transkription ein Problem darstellt; gezieltes Feintuning könnte dies laut den Autoren beheben.