Innopolis-yliopisto sai kolme patenttia tekoälyratkaisuille tekstiin ja visuaaliseen tarkkaavaisuuteen

Innopolis-yliopiston tekoälytutkimuskeskuksen tutkijat ovat saaneet kolme patenttia tekoälyratkaisuille, jotka liittyvät tekstiin ja visuaaliseen huomioon. Ensimmäinen patentti kattaa järjestelmän, joka ennustaa ihmisen katseen lukemisen aikana ja joka pystyy ennustamaan silmänliikkeitä englannin, korean, saksan ja kymmenen muun kielen teksteille käyttämällä yhtenäistä neuroverkkoarkkitehtuuria. Se yhdistää monikielisen kielimallin ja transformeri-mallin katseen kiinnitysten ennustamiseen, ja se on koulutettu eri kielten äidinkielenään puhuvien silmänliikeseurantatallenteilla. Järjestelmä tuottaa synteettisiä katseen kiinnityssekvenssejä ja arvioi niitä sanan ohittamisen todennäköisyyden ja kiinnitysten määrän perusteella ensimmäisen lukemisen aikana. Toinen patentti koskee katseen tuottamisen arviointia lukemisen aikana ja se käsittelee yhtenäisten protokollien puutetta generatiivisten mallien tuottamien tekstin katseen kiinnityssekvenssien vertailussa. Ehdotettu lähestymistapa vertaa katseen liikeratoja spatialisten ja ajallisten ominaisuuksien perusteella ja arvioi erilaisia silmänliikkeen piirteitä koko tekstin, yksittäisten sanojen ja lauseiden tasolla. Kolmas patentti koskee menetelmää kielimallien kouluttamiseen synteettisillä katseen liikeradoilla, jossa visuaalinen huomiodata integroidaan vahvistusoppimiseen ihmisen palautteesta. Keksintö sisältää synteettisten katseen kiinnityssekvenssien ja visuaalisen huomion piirteiden tuottamisen sekä ihmisen palautteeseen perustuvan vahvistusoppimisalgoritmin käyttöönoton, joka ottaa huomioon ihmisen huomion mallit. Yliopiston mukaan tämä teknologia nopeuttaa tekoälyn koulutusta 1,5–2 kertaa, vähentää laskentakustannuksia, toistaa ihmisen huomion mallit jopa 93 prosentin tarkkuudella ja toimii myös kielillä, joilla on vähän dataa.