Word2Vec 中的负采样(Negative Sampling)是如何工作的?
Word2Vec 中的负采样(Negative Sampling)是一种用于训练词嵌入模型的方法。该方法通过随机选择一小部分负样本(词汇表中的词)来训练模型,从而减少训练时间和计算成本。负采样的核心思想是通过概率分布对正样本和负样本进行采样,然后使用梯度下降算法进行模型更新。具体细节如下:
-
构建正样本对:首先,正样本对是由训练数据中的上下文词和目标词组成的。例如,对于给定的上下文词“apple”和目标词“juice”,构建一个正样本对 (apple, juice)。
-
构建负样本对:然后,从词汇表中随机选择一小部分负样本词来构造负样本对。一般来说,负样本选择的概率与词频有关,高频词更容易被选择为负样本。
-
模型更新:对于每个正样本对和负样本对,使用梯度下降算法更新模型参数。负样本对的数量通常比正样本对少很多,这样可以减少计算成本。
负采样通过降低负样本训练的计算复杂度,提高了训练速度和效率,并且使得训练更加稳定。