word2vec 究竟学到了什么？研究者终于有了精确的训练理论

在一项新研究中，来自BAIR（伯克利人工智能研究实验室）的研究人员首次推导出word2vec学习过程的封闭解析理论。他们证明，在现实条件下，该学习过程归结为无权重的最小二乘矩阵分解，且梯度下降的动态变化具有封闭解：最终的词表示由主成分分析（PCA）给出。在较小的初始权重下，模型权重以离散步骤进行学习，每一步都会添加一个新的正交线性子空间特征。这些特征是矩阵M*的特征向量，该矩阵由词共现概率和单字概率计算得出。例如，第一个主向量突出显示与名人传记相关的词，第二个与政府管理相关，第三个与地理描述相关。该理论使用了四个软近似（目标函数的四次分解、超参数的特殊设置、足够小的初始权重以及无穷小的梯度下降步长），但对数据分布没有施加限制。实验表明，近似模型在类比任务上达到了66%的准确率（word2vec为68%，经典PPMI方法为51%）。此外，该理论将抽象线性表示（例如男/女性别）的出现描述为稀疏随机矩阵模型：在学习的早期阶段，语义信号占主导地位，而在后期，噪声可能开始占据主导地位，从而降低表示的准确性。