Was lernt word2vec wirklich? Forscher haben endlich eine exakte Lerntheorie

Forscher von BAIR (Berkeley Artificial Intelligence Research) haben die erste quantitative und prädiktive Theorie für den Lernprozess von word2vec entwickelt. Sie beweisen, dass sich das Training unter realistischen Bedingungen auf eine ungewichtete Kleinste-Quadrate-Matrixfaktorisierung reduziert, wobei die finalen Einbettungen durch eine Hauptkomponentenanalyse einer bestimmten, aus Korpusstatistiken abgeleiteten Matrix gegeben sind.

Berkeley Artificial Intelligence Research (BAIR)

RL ohne TD-Lernen: Neuer Divide-and-Conquer-Algorithmus

Forscher schlagen Transitives RL (TRL) vor, einen neuen Divide-and-Conquer-Verstärkungslernalgorithmus, der das zeitliche Differenzlernen vermeidet. TRL skaliert auf langfristige Aufgaben, indem es Trajektorien rekursiv aufteilt, und erzielt hochmoderne Ergebnisse auf anspruchsvollen Benchmarks, ohne den Schrittparameter n abstimmen zu müssen.

Berkeley Artificial Intelligence Research (BAIR)