Uudet mallit, sama etu: DharmaOCR-spesialisaatio voittaa uudempia arkkitehtuureja portugalin kielessä
Mistral
DharmaOCR-optisen merkkien tunnistuksen malli, joka on suunniteltu brasilianportugaliksi, suoriutuu paremmin kuin uudemmat mallit, kuten Mistral OCR4 ja Unlimited-OCR, portugalinkielisessä vertailussa. Etu saavutetaan kohdennetulla koulutuksella ja erikoistumisella yhteen kieleen.
Tutkijat, jotka loivat DharmaOCR-optisen merkkien tunnistusmallin brasilianportugaliksi, vertasivat sitä uudempiin Mistral OCR4- ja Unlimited-OCR-malleihin. Vaikka molemmat jälkimmäiset mallit edustavat teknisesti kehittyneempiä arkkitehtuureja uusine koulutusmenetelmineen ja aineistoineen, DharmaOCR sai pistemäärän 0,925 verrattuna Mistral OCR4:n 0,798:aan ja Unlimited-OCR:n 0,7587:ään vertailussa, joka kohdistui yksinomaan portugaliin. Etu johtuu erikoistumisesta: DharmaOCR koulutettiin vain brasilianportugalilla, keskittäen kaikki resursseensa tähän kielialueeseen, kun taas uudemmat mallit ovat monikielisiä ja joutuvat jakamaan kykynsä monien kielten kesken. Lisäksi DharmaOCR:n koulutusputkeen kuuluva suoran preferenssin optimointi (Direct Preference Optimization) vähensi tekstin degeneraatiota, jossa malli alkaa tuottaa epäjohdonmukaista, toisteista tulostetta epäselvistä kuvista. Monikieliset mallit tekevät usein tyypillisiä virheitä erityisesti portugalinkielisessä sanastossa ja erisnimissä; esimerkiksi Mistral OCR4 muutti tunnetun brasilialaisen muusikon Chico Buarquen nimen muotoon "Chico Barque" ja Unlimited-OCR muotoon "chico bique". Tekijöiden mukaan erikoistuminen on rakenteellinen etu, joka ei katoa uusien arkkitehtuurien myötä niin kauan kuin koulutusresurssit ovat rajalliset.
Lähde: Hugging Face blog —
Alkuperäinen
