Innopolis University krijgt drie patenten voor AI-oplossingen voor tekst- en visuele aandacht

Onderzoekers van het AI-onderzoekscentrum van de Innopolis Universiteit hebben drie patenten verkregen voor AI-oplossingen met betrekking tot tekst- en visuele aandacht. Het eerste patent heeft betrekking op een systeem voor het voorspellen van de menselijke blik tijdens het lezen, dat oogbewegingen kan voorspellen voor teksten in het Engels, Koreaans, Duits en tien andere talen met behulp van een uniforme neurale netwerkarchitectuur. Het combineert een meertalig taalmodel en een transformermodel voor het voorspellen van blikfixaties, getraind op eye-tracking-opnamen van moedertaalsprekers van verschillende talen. Het systeem genereert synthetische blikfixatiereeksen en evalueert deze op basis van de kans op het overslaan van woorden en het aantal fixaties tijdens het eerste lezen. Het tweede patent betreft de evaluatie van blikgeneratie tijdens het lezen, en richt zich op het gebrek aan uniforme protocollen voor het vergelijken van sequentiële blikfixaties op tekst die door generatieve modellen worden geproduceerd. De voorgestelde aanpak vergelijkt bliktrajecten op ruimtelijke en temporele kenmerken en beoordeelt verschillende oogbewegingskenmerken op het niveau van de volledige tekst, individuele woorden en zinnen. Het derde patent is voor een methode voor het trainen van taalmodellen met synthetische bliktrajecten, waarbij visuele aandachtsgegevens worden geïntegreerd in versterkend leren op basis van menselijke feedback. De uitvinding omvat het genereren van synthetische blikfixatiereeksen en visuele aandachtskenmerken, en het implementeren van een versterkend leer-algoritme op basis van menselijke feedback dat rekening houdt met menselijke aandachtspatronen. Volgens de universiteit versnelt deze technologie de AI-training met 1,5 tot 2 keer, vermindert het de rekenkosten, reproduceert het menselijke aandachtspatronen met een nauwkeurigheid van maximaal 93% en werkt het zelfs voor talen met weinig gegevens.