O que o word2vec realmente aprende? Pesquisadores finalmente têm uma teoria exata de aprendizado
Berkeley Artificial Intelligence Research (BAIR)
Pesquisadores do BAIR (Berkeley AI) desenvolveram a primeira teoria quantitativa e preditiva para o processo de aprendizado do word2vec. Eles provam que, sob condições realistas, o treinamento se reduz a uma fatoração de matriz de mínimos quadrados não ponderados, com as incorporações finais dadas pela PCA de uma matriz específica derivada das estatísticas do corpus.
Em um novo artigo, pesquisadores do BAIR apresentam a primeira teoria de forma fechada para a dinâmica de aprendizado do word2vec. Eles mostram que, quando as embeddings são inicializadas próximas de zero, o modelo aprende conceitos um de cada vez, cada um correspondendo a um subespaço linear ortogonal, e o posto efetivo da matriz de embeddings aumenta gradualmente. As características aprendidas são os autovetores principais de uma matriz M* definida por probabilidades de co-ocorrência. A teoria corresponde bem a experimentos numéricos: o word2vec atinge 68% em benchmarks de analogias, o modelo aproximado obtém 66%, contra 51% do método PPMI clássico. O trabalho também explica o surgimento de representações lineares para conceitos abstratos como gênero ou tempo verbal.
Fonte: BAIR (Berkeley AI) —
original