Universitas Innopolis Mendapatkan Tiga Paten untuk Solusi AI untuk Perhatian Teks dan Visual

Para peneliti di Pusat Penelitian AI Universitas Innopolis telah memperoleh tiga paten untuk solusi AI yang terkait dengan perhatian teks dan visual. Paten pertama mencakup sistem untuk memprediksi arah pandangan manusia saat membaca, yang dapat meramalkan gerakan mata untuk teks dalam bahasa Inggris, Korea, Jerman, dan sepuluh bahasa lainnya menggunakan arsitektur jaringan saraf terpadu. Sistem ini menggabungkan model bahasa multibahasa dan model transformer untuk memprediksi fiksasi pandangan, yang dilatih pada rekaman pelacakan mata dari penutur asli berbagai bahasa. Sistem ini menghasilkan urutan fiksasi pandangan sintetis dan mengevaluasinya berdasarkan probabilitas melompati kata dan jumlah fiksasi selama pembacaan pertama. Paten kedua berkaitan dengan evaluasi pembuatan pandangan saat membaca, dengan mengatasi kurangnya protokol terpadu untuk membandingkan fiksasi pandangan berurutan pada teks yang dihasilkan oleh model generatif. Pendekatan yang diusulkan membandingkan lintasan pandangan berdasarkan karakteristik spasial dan temporal serta menilai fitur gerakan mata yang berbeda pada tingkat seluruh teks, kata individual, dan kalimat. Paten ketiga adalah untuk metode melatih model bahasa dengan lintasan pandangan sintetis, mengintegrasikan data perhatian visual ke dalam pembelajaran penguatan dari umpan balik manusia. Penemuan ini mencakup pembuatan urutan fiksasi pandangan sintetis dan fitur perhatian visual, serta penerapan algoritma pembelajaran penguatan berdasarkan umpan balik manusia yang memperhitungkan pola perhatian manusia. Menurut universitas, teknologi ini mempercepat pelatihan AI sebanyak 1,5–2 kali, mengurangi biaya komputasi, mereproduksi pola perhatian manusia dengan akurasi hingga 93%, dan bekerja bahkan untuk bahasa dengan volume data rendah.