同じモデル、変わらぬ優位性:DharmaOCRの専門化がポルトガル語で新世代アーキテクチャを凌ぐ
Mistral
光学文字認識モデルDharmaOCRはブラジルポルトガル語向けに設計され、ポルトガル語ベンチマークにおいてMistral OCR4やUnlimited-OCRなどの新しいモデルを上回る性能を示しました。この優位性は、特定言語に特化したターゲットトレーニングによって達成されています。
ブラジルポルトガル語向け光学文字認識モデルDharmaOCRを開発した研究者らが、より新しいMistral OCR4およびUnlimited-OCRモデルと比較した。後者2つのモデルは、新しい学習手法とデータセットを用いた技術的に先進的なアーキテクチャであるが、ポルトガル語のみを対象としたベンチマークで、DharmaOCRは0.925を記録し、Mistral OCR4の0.798、Unlimited-OCRの0.7587を上回った。その優位性は特化に起因する。DharmaOCRはブラジルポルトガル語のみで学習され、リソースをこの言語領域に集中させている一方、新しいモデルは多言語対応であり、能力を多くの言語に分散させる必要がある。さらに、DharmaOCRの学習パイプラインにおける直接選好最適化(Direct Preference Optimization、DPO)のステップにより、ぼやけた画像でモデルが非一貫性のある反復出力を生成するテキスト劣化が軽減された。多言語モデルは、特にポルトガル語の語彙や固有名詞に対して特徴的な誤りを犯すことが多い。例えば、Mistral OCR4は有名なブラジル人ミュージシャン、シコ・ブアルキ(Chico Buarque)の名前を「Chico Barque」と変換し、Unlimited-OCRは「chico bique」と変換した。著者らによると、学習リソースが有限である限り、新しいアーキテクチャの登場によっても特化は構造的な優位性として消えることはないとしている。
出典: Hugging Face blog —
原文
