在训练 Word2Vec 模型时，为了提升效率，通常采用哪些加速优化手段？请列举并简要说明其原理。
考察说明
考查对 Word2Vec 训练加速技术的理解，包括层次 Softmax、负采样等方法的机制与适用场景。
回答思路
- 【回答框架 1】Word2Vec 的加速方法主要针对 Softmax 计算瓶颈，常见有层次 Softmax 和负采样。层次 Softmax 利用霍夫曼树将输出层从全词表 Softmax 变为沿树路径的多个二分类，计算复杂度从 O(V) 降至 O(log V)，适合词表较大且需要精确概率的场景。
- 【回答框架 2】负采样则完全摒弃 Softmax，通过随机采样少量负样本（如 5-20 个）进行二分类，每个样本只需更新少量输出向量，大幅减少计算量，尤其适合大规模语料和分布式训练。
- 【回答框架 3】此外还有子采样（高频词降采样）减少训练样本量，以及使用负采样时对噪声分布进行平滑（如 3/4 次幂）来提升词向量质量。
- 【回答框架 4】工程上还可采用多线程异步训练、批量梯度更新、以及使用近似最近邻搜索（如 Hierarchical Softmax 的变体）进一步加速。
- 【关键点 1】层次 Softmax 将 Softmax 复杂度从 O(V) 降至 O(log V)，适合词表大且需精确概率的场景。
- 【关键点 2】负采样通过随机负样本二分类，大幅减少计算量，适合大规模语料。
- 【关键点 3】子采样高频词可减少训练样本，提升训练速度与词向量质量。
- 【关键点 4】噪声分布平滑（3/4 次幂）能改善负采样效果。
- 【关键点 5】多线程异步训练与批量更新可进一步提升吞吐。