word2vec：训练语料库中的句子顺序

Question

我有一个关于word2vec算法的问题。实际上，我的问题是训练语料库中句子的顺序是否重要。例如，给定两个训练语料库：

CorpusA： 句子1.句子2.句子3.

CorpusB： 句3句1句2.

请问word2vec的结果会有所不同吗？因为大多数word2vec实现使用SGD训练有素

在此先感谢

Answer 1

句子的顺序会影响嵌入从文本语料库教训。

所以回答你的问题 - 是的，word2vec的结果是不同的。

我不认为word2vec是正确的算法，如果语料库中的句子顺序对您很重要。

• 载体的随机初始化
• 负采样机器的
• 多线程
• 浮点精度 - 请记住，文字的输出可因多种原因，其中很少有变化

为了获得更好的效果，我们做了，不会在你的情况有可能在训练数据的多个时期