Qu'Apprend Vraiment word2vec ? Des Chercheurs Ont Enfin une Théorie d'Apprentissage Exacte
Berkeley Artificial Intelligence Research (BAIR)
Des chercheurs de BAIR (Berkeley AI) ont développé la première théorie quantitative et prédictive du processus d'apprentissage de word2vec. Ils prouvent que, dans des conditions réalistes, l'entraînement se réduit à une factorisation matricielle par moindres carrés non pondérés, les plongements finaux étant donnés par l'ACP d'une matrice spécifique dérivée des statistiques du corpus.
Dans un nouvel article, des chercheurs du BAIR présentent la première théorie en forme explicite pour la dynamique d'apprentissage de word2vec. Ils montrent que lorsque les plongements sont initialisés proches de zéro, le modèle apprend les concepts un par un, chacun correspondant à un sous-espace linéaire orthogonal, et que le rang effectif de la matrice de plongement augmente progressivement. Les caractéristiques apprises sont les vecteurs propres dominants d'une matrice M* définie par les probabilités de cooccurrence. La théorie correspond bien aux expériences numériques : word2vec atteint 68 % sur les benchmarks d'analogies, le modèle approximatif obtient 66 %, contre 51 % pour la méthode classique PPMI (matrice de points mutuels positifs). Ce travail explique également l'émergence de représentations linéaires pour des concepts abstraits comme le genre ou le temps.
Source: BAIR (Berkeley AI) —
original