Rusland Patenteert AI die Teksten Leest als een Mens

Onderzoekers hebben patenten gekregen voor een systeem dat de blik van mensen tijdens het lezen voorspelt. Het voorspelt hoe een persoon tekst in het Engels, Koreaans, Duits en tien andere talen zal lezen, op basis van een enkele neurale netwerkarchitectuur die een meertalig model combineert met een transformer die is getraind op oogbewegingsregistraties van moedertaalsprekers. Het systeem genereert synthetische blikfixatiereeksen en evalueert deze op basis van de kans op woordoverslaan, het aantal fixaties tijdens het eerste lezen en andere criteria. Ilja Pershin, hoofd van het Laboratorium voor AI in de Geneeskunde aan de Innopolis Universiteit, legde uit dat synthetische gegevens vaak de enige oplossing zijn wanneer echte eye-trackingregistraties schaars zijn, waardoor training goedkoper wordt en voorheen onmogelijke taken mogelijk worden. In één onderzoek verbeterde deze aanpak de nauwkeurigheid van blikvoorspelling op röntgenfoto's met 20–30%. Het tweede patent betreft een uniform protocol voor het evalueren van oogbewegingsgeneratie tijdens het lezen, waarbij bliktrajecten worden vergeleken op ruimtelijke en temporele kenmerken, en kenmerken op tekst-, woord- en zinsniveau worden geanalyseerd. Het derde patent beschrijft een methode voor het trainen van taalmodellen met synthetische bliktrajecten, waarbij visuele aandachtsgegevens worden geïntegreerd in reinforcement learning op basis van menselijke feedback. Ivan Stebakov, een specialist van het laboratorium, zei dat een beloningsmodel wordt getraind op echte menselijke voorkeuren om automatisch reacties van een groot taalmodel te evalueren, waardoor de training 1,5 tot 2 keer sneller verloopt, de rekenkosten dalen, een nauwkeurigheid van 93% wordt bereikt bij het reproduceren van menselijke aandachts patronen, en het ook werkt voor talen met weinig bronmateriaal.