نصوص التعرف البصري القديمة تجعل نماذج اللغة تتعلم بكفاءة 30 بالمئة فقط – مشروع FineBooks يهدف إلى تغيير ذلك

مشروع FineBooks من Hugging Face وEleutherAI اختبر 14 نموذجًا مفتوح المصدر للتعرف الضوئي على الحروف (OCR) على 2165 صفحة من الكتب التاريخية، ونشر النتائج في لوحة تصنيف. الدافع وراء ذلك هو أن نصوص التعرف الضوئي من المكتبات غالبًا ما تكون معيبة، ونموذج اللغة الذي يتم تدريبه على هذه النصوص يتعلم بكفاءة تبلغ 30% فقط مقارنة بالنسخ البشرية، كما تم قياسه في مشروع Talkie. النموذج الرائد، dots.mocr، لديه 3 مليارات معامل ويصل إلى دقة 97.6% بتكلفة 1.94 دولار لكل ألف صفحة، بينما يحتل OvisOCR2، الذي لديه 0.9 مليار معامل فقط، المركز الثاني بتكلفة 0.46 دولار لكل ألف صفحة، مما يُظهر أن حجم النموذج وجودة التعرف الضوئي لا يرتبطان تقريبًا بالوثائق التاريخية. التقييم يغطي فقط النصوص اللاتينية Antiqua باللغات الإنجليزية والفرنسية والألمانية واللاتينية، ويقتصر على المستندات الشبيهة بالكتب ذات النص المتدفق في عمود واحد. كخطوة تالية، يخطط الفريق لإعادة معالجة حوالي 200,000 وثيقة من مكتبة التراث biodiversité (BHL) في المجال العام باستخدام أحد النماذج الرائدة ونشر النص كمجموعة بيانات مفتوحة. بينما النماذج جيدة بما يكفي لتدريب الذكاء الاصطناعي، فإنها تستبدل الأحرف القديمة مثل s الطويلة بمكافئات حديثة، وهو ما يمثل مشكلة للنسخ العلمي؛ ووفقًا للمؤلفين، يمكن للضبط الدقيق المستهدف إصلاح ذلك.