word2vec thực sự học được gì? Các nhà nghiên cứu cuối cùng đã có một lý thuyết học tập chính xác
Berkeley Artificial Intelligence Research (BAIR)
Các nhà nghiên cứu từ BAIR (Berkeley AI) đã phát triển lý thuyết định lượng và dự đoán đầu tiên cho quá trình học của word2vec. Họ chứng minh rằng trong các điều kiện thực tế, việc huấn luyện quy về phân tích ma trận bình phương tối thiểu không trọng số, với các embedding cuối cùng được đưa ra bởi PCA của một ma trận cụ thể suy ra từ thống kê ngữ liệu.
Trong một bài báo mới, các nhà nghiên cứu từ BAIR cung cấp lý thuyết dạng đóng đầu tiên về động lực học của word2vec. Họ chỉ ra rằng khi các embedding được khởi tạo gần bằng 0, mô hình học các khái niệm một cách tuần tự, mỗi khái niệm tương ứng với một không gian con trực giao tuyến tính, và hạng hiệu dụng của ma trận embedding tăng dần theo từng bước. Các đặc trưng học được là các vector riêng hàng đầu của ma trận M* được xác định bởi xác suất đồng xuất hiện. Lý thuyết phù hợp tốt với các thử nghiệm số: word2vec đạt 68% trên các bài kiểm tra tương tự, mô hình xấp xỉ đạt 66%, so với 51% của phương pháp PPMI cổ điển. Công trình cũng giải thích sự xuất hiện của các biểu diễn tuyến tính cho các khái niệm trừu tượng như giới tính hay thì.
Nguồn: BAIR (Berkeley AI) —
bản gốc