Was lernt word2vec wirklich? Forscher haben endlich eine exakte Lerntheorie
Berkeley Artificial Intelligence Research (BAIR)
Forscher von BAIR (Berkeley Artificial Intelligence Research) haben die erste quantitative und prädiktive Theorie für den Lernprozess von word2vec entwickelt. Sie beweisen, dass sich das Training unter realistischen Bedingungen auf eine ungewichtete Kleinste-Quadrate-Matrixfaktorisierung reduziert, wobei die finalen Einbettungen durch eine Hauptkomponentenanalyse einer bestimmten, aus Korpusstatistiken abgeleiteten Matrix gegeben sind.
In einem neuen Artikel liefern Forscher des BAIR die erste geschlossene Theorie für die Lerndynamik von word2vec. Sie zeigen, dass das Modell bei nahe Null initialisierten Einbettungen Konzepte nacheinander lernt, die jeweils einem orthogonalen linearen Unterraum entsprechen, und dass der effektive Rang der Einbettungsmatrix schrittweise ansteigt. Die gelernten Merkmale sind die oberen Eigenvektoren einer Matrix M*, die durch Kookkurrenzwahrscheinlichkeiten definiert ist. Die Theorie stimmt gut mit numerischen Experimenten überein: word2vec erreicht 68 Prozent bei Analogie-Benchmarks, das approximierte Modell 66 Prozent im Vergleich zu 51 Prozent bei der klassischen PPMI-Methode. Die Arbeit erklärt auch die Entstehung linearer Repräsentationen für abstrakte Konzepte wie Geschlecht oder Tempus.
Quelle: BAIR (Berkeley AI) —
Original