人工智能面试题更新 2026-08-05

请解释自然语言处理中的词嵌入概念,并列举几种主流的词嵌入实现方法。

人工智能技术原理Word2Vec

考察说明

考察对词嵌入基本概念及主流方法的理解,包括其原理和代表性技术。

回答思路

  1. 【回答框架 1】词嵌入是将离散的词语映射为稠密实数向量的技术,使得语义相近的词在向量空间中距离更近。它的核心优势是缓解词袋模型的维度爆炸问题,并捕获词的语义和语法特征。
  2. 【回答框架 2】常见的词嵌入方法包括基于统计的方法和基于预测的方法。基于统计的代表有LSA,通过奇异值分解共现矩阵获得低维向量;基于预测的方法以Word2Vec的CBOW和Skip-gram为代表,通过神经网络学习词向量。
  3. 【回答框架 3】其他主流方法还包括GloVe,它结合了全局共现统计和局部上下文预测,以及FastText,它将词拆分为子词n-gram,能够更好地处理未登录词和形态丰富的语言。
  4. 【回答框架 4】简述这些方法的核心思路后,可以提到词嵌入是预训练语言模型的基础,但相比BERT等动态词向量,传统词嵌入是静态的,一词一向量,无法处理一词多义问题。
  5. 【关键点 1】词嵌入将词语映射为稠密实数向量,语义相似的词在向量空间中接近。
  6. 【关键点 2】主流方法包括LSA、Word2Vec(CBOW和Skip-gram)、GloVe和FastText。
  7. 【关键点 3】Word2Vec利用神经网络预测上下文或目标词来学习词向量。
  8. 【关键点 4】GloVe结合共现矩阵的全局统计和局部窗口预测。
  9. 【关键点 5】FastText引入子词信息,能处理OOV和词形变化,且训练速度快。
  10. 【易错点 1】容易混淆词嵌入与词袋模型,词嵌入是稠密低维向量,词袋是稀疏独热编码。
  11. 【易错点 2】切勿将分布式假设解释为绝对的语义等价,词向量反映的是分布相似性而非精确意义。
  12. 【易错点 3】Word2Vec的负采样和层序Softmax是训练优化技术,不等于模型结构本身,需分清。