word2vec 究竟学到了什么？

新理论研究证明，word2vec 的学习过程在实际条件下可简化为无权最小二乘矩阵分解，最终学到的表征等价于对特定目标矩阵执行 PCA。从小初始化训练时，模型以离散步骤序列逐步学习正交线性子空间，每步递增嵌入矩阵的秩并降低损失。该学习动力学可求出闭式解，特征直接对应由语料共现统计构成的目标矩阵特征向量。