Nga cấp bằng sáng chế cho AI đọc văn bản như con người

Các nhà nghiên cứu đã được cấp bằng sáng chế cho một hệ thống dự đoán hướng nhìn của con người khi đọc. Hệ thống này dự báo cách một người sẽ đọc văn bản tiếng Anh, tiếng Hàn, tiếng Đức và mười ngôn ngữ khác, dựa trên một kiến trúc mạng thần kinh duy nhất kết hợp mô hình đa ngôn ngữ và mô hình Transformer được đào tạo từ các bản ghi chuyển động mắt của người bản ngữ. Hệ thống tạo ra các chuỗi cố định hướng nhìn tổng hợp và đánh giá chúng bằng xác suất bỏ qua từ, số lần cố định khi đọc lần đầu và các tiêu chí khác. Ilya Pershin, trưởng Phòng thí nghiệm Trí tuệ nhân tạo trong Y khoa thuộc Đại học Innopolis, giải thích rằng dữ liệu tổng hợp thường là giải pháp duy nhất khi các bản ghi theo dõi mắt thực còn khan hiếm, giúp việc đào tạo rẻ hơn và cho phép thực hiện các nhiệm vụ mà trước đây không thể. Trong một nghiên cứu, phương pháp này đã cải thiện độ chính xác dự đoán hướng nhìn trên hình ảnh X-quang từ 20–30%. Bằng sáng chế thứ hai bao gồm một giao thức thống nhất để đánh giá việc tạo chuyển động mắt khi đọc, so sánh quỹ đạo hướng nhìn theo các đặc điểm không gian và thời gian, đồng thời phân tích các đặc điểm ở cấp độ toàn văn bản, từ và câu. Bằng sáng chế thứ ba mô tả một phương pháp đào tạo mô hình ngôn ngữ với các quỹ đạo hướng nhìn tổng hợp, tích hợp dữ liệu chú ý thị giác vào học tăng cường từ phản hồi của con người. Ivan Stebakov, một chuyên gia của phòng thí nghiệm, cho biết một mô hình phần thưởng được đào tạo dựa trên sở thích thực của con người để tự động đánh giá các phản hồi từ một mô hình ngôn ngữ lớn, giúp đào tạo nhanh hơn 1,5–2 lần, giảm chi phí tính toán, đạt độ chính xác 93% trong việc tái tạo các mô hình chú ý của con người và hoạt động ngay cả đối với các ngôn ngữ có nguồn lực thấp.