Neue Modelle, gleicher Vorteil: DharmaOCR-Spezialisierung schlägt neuere Architekturen im Portugiesischen
Mistral
Das optische Zeichenerkennungsmodell DharmaOCR, das für brasilianisches Portugiesisch entwickelt wurde, übertrifft neuere Modelle wie Mistral OCR4 und Unlimited-OCR in einem portugiesischen Benchmark. Der Vorteil wird durch gezieltes Training und Spezialisierung auf eine einzige Sprache erreicht.
Forscher, die das optische Zeichenerkennungsmodell DharmaOCR für brasilianisches Portugiesisch entwickelten, verglichen es mit den neueren Modellen Mistral OCR4 und Unlimited-OCR. Obwohl beide letztgenannten Modelle technisch fortschrittlichere Architekturen mit neuartigen Trainingsmethoden und Datensätzen darstellen, erreichte DharmaOCR in einem Benchmark, der ausschließlich auf Portugiesisch ausgerichtet war, einen Wert von 0,925 gegenüber 0,798 für Mistral OCR4 und 0,7587 für Unlimited-OCR. Der Vorteil wird auf die Spezialisierung zurückgeführt: DharmaOCR wurde nur mit brasilianischem Portugiesisch trainiert und konzentriert all seine Ressourcen auf diesen Sprachbereich, während die neueren Modelle mehrsprachig sind und ihre Fähigkeiten auf viele Sprachen verteilen müssen. Zusätzlich reduzierte der Schritt der Direkten Präferenzoptimierung im Trainingsablauf von DharmaOCR die Textdegeneration, bei der das Modell bei unscharfen Bildern beginnt, inkohärente, sich wiederholende Ausgaben zu erzeugen. Mehrsprachige Modelle machen oft charakteristische Fehler speziell bei portugiesischem Vokabular und Eigennamen; so verwandelte Mistral OCR4 beispielsweise den Namen des berühmten brasilianischen Musikers Chico Buarque in „Chico Barque“ und Unlimited-OCR in „chico bique“. Laut den Autoren bleibt Spezialisierung ein struktureller Vorteil, der mit dem Aufkommen neuerer Architekturen nicht verschwinden wird, solange Trainingsressourcen begrenzt sind.
Quelle: Hugging Face blog —
Original
