Trường Đại học Innopolis nhận ba bằng sáng chế cho các giải pháp AI về văn bản và chú ý thị giác

Các nhà nghiên cứu tại Trung tâm Nghiên cứu AI của Đại học Innopolis đã nhận được ba bằng sáng chế cho các giải pháp AI liên quan đến sự chú ý trong văn bản và hình ảnh. Bằng sáng chế đầu tiên bao gồm một hệ thống dự đoán chuyển động mắt của con người khi đọc, có thể dự báo chuyển động mắt cho các văn bản bằng tiếng Anh, tiếng Hàn, tiếng Đức và mười ngôn ngữ khác bằng cách sử dụng một kiến trúc mạng nơ-ron thống nhất. Hệ thống này kết hợp mô hình ngôn ngữ đa ngôn ngữ và mô hình transformer để dự đoán các điểm dừng mắt (fixations), được huấn luyện trên các bản ghi theo dõi mắt của người bản ngữ ở các ngôn ngữ khác nhau. Hệ thống tạo ra các chuỗi điểm dừng mắt tổng hợp và đánh giá chúng theo xác suất bỏ qua từ và số lần dừng mắt trong lần đọc đầu tiên. Bằng sáng chế thứ hai liên quan đến việc đánh giá khả năng tạo điểm dừng mắt trong quá trình đọc, giải quyết sự thiếu hụt các giao thức thống nhất để so sánh các chuỗi dừng mắt tuần tự trên văn bản được tạo bởi các mô hình sinh. Phương pháp được đề xuất so sánh các quỹ đạo chuyển động mắt theo các đặc điểm không gian và thời gian, đồng thời đánh giá các đặc điểm chuyển động mắt khác nhau ở cấp độ toàn văn bản, từng từ và từng câu. Bằng sáng chế thứ ba là một phương pháp huấn luyện mô hình ngôn ngữ với các quỹ đạo chuyển động mắt tổng hợp, tích hợp dữ liệu chú ý thị giác vào học tăng cường từ phản hồi của con người. Phát minh này bao gồm tạo ra các chuỗi dừng mắt tổng hợp và các đặc điểm chú ý thị giác, đồng thời triển khai thuật toán học tăng cường dựa trên phản hồi của con người, có tính đến các mẫu chú ý của con người. Theo trường đại học, công nghệ này tăng tốc độ huấn luyện AI lên 1,5–2 lần, giảm chi phí tính toán, tái tạo các mẫu chú ý của con người với độ chính xác lên tới 93%, và hoạt động ngay cả đối với các ngôn ngữ có lượng dữ liệu thấp.