Word2vec 到底学到了什么？研究者终于提出了精确的学习理论

在一篇新论文中,来自BAIR的研究人员首次为word2vec的学习动态提出了闭式(closed-form)理论。他们发现,当嵌入向量(embedding)在接近零的位置初始化时,模型会逐一学习各个概念,每个概念对应一个正交的线性子空间,而嵌入矩阵的有效秩(effective rank)则呈阶梯式递增。所学习到的特征正是由共现概率(co-occurrence probabilities)所定义的矩阵M*的最高特征向量(eigenvectors)。该理论与数值实验结果高度吻合:word2vec在类比推理基准测试中达到68%的准确率,近似模型达到66%,而经典的PPMI(正点互信息,Positive Pointwise Mutual Information)方法仅为51%。这项研究还解释了诸如性别或时态等抽象概念的线性表示是如何产生的。