人工智能面试题更新 2026-08-05

请从原理和应用角度,阐述深度学习中的注意力机制与全连接层的区别和联系。

人工智能技术原理

考察说明

考察对基础深度学习组件(全连接层、注意力机制)的理解,以及能否清晰对比其异同。

回答思路

  1. 【回答框架 1】注意力机制是一种动态权重分配技术,它根据输入内容自适应地为不同位置或特征分配不同的重要性权重,从而突出关键信息。其核心是查询、键和值的计算,常见实现包括加性注意力和点积注意力。
  2. 【回答框架 2】全连接层是经典的神经网络层,每个输出神经元与所有输入神经元相连,通过固定权重矩阵和偏置进行线性变换,再经激活函数引入非线性。其参数数量由输入和输出维度决定,不随输入内容变化。
  3. 【回答框架 3】两者区别:注意力机制具有内容相关性,权重是动态计算的,能够捕捉长距离依赖,但计算量和内存占用可能较大;全连接层权重固定,参数共享性差,难以直接建模长距离关系,但实现简单、训练稳定。
  4. 【回答框架 4】联系:全连接层可以看作一种特殊的注意力机制,当注意力权重固定且相等时,加权求和退化为线性组合;在Transformer等模型中,注意力层常与全连接层交替使用,前者捕捉全局关系,后者进行特征变换。
  5. 【关键点 1】注意力机制的核心是动态权重,全连接层权重固定。
  6. 【关键点 2】注意力机制能建模长距离依赖,全连接层受限于输入维度。
  7. 【关键点 3】全连接层参数数量固定,注意力层参数不随序列长度变化。
  8. 【关键点 4】两者常结合使用,例如Transformer中的自注意力和前馈网络。
  9. 【易错点 1】避免混淆注意力机制与全连接层的权重维度:注意力权重是随输入变化的,而全连接层权重是固定的。
  10. 【易错点 2】不要认为注意力机制一定能替代全连接层,两者在模型中有不同作用。