互联网/IT行业面试题 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 348 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 81 题LLM和NLP有什么关系？ 考察对LLM与NLP学科基础和演进关系的理解第 82 题FFN(前馈神经网络)为什么要先升维再降维？ 考察对Transformer中前馈网络结构设计的理解及直觉第 83 题Transformer Decoder 的结构有哪些部分？ 考察对 Transformer Decoder 各组件及其作用的理解第 84 题请说明旋转位置编码（RoPE）的实现方式及其优势。 考察对旋转位置编码具体实现和设计动机的理解第 85 题Transformer 为什么使用 LayerNorm 而不是 BatchNorm？ 考察对归一化机制在序列建模中适用性的理解第 86 题说说CNN和Transformer区别 考察对卷积神经网络与Transformer架构核心差异及其适用场景的理解第 87 题后来有哪些比较经典的基于Transformer的语言模型，Qwen相比于原始Transformer有哪些结构上的改动，Qwen2又有哪些改进？ 考察对Transformer架构演进、Qwen系列模型结构差异及版本改进的理解第 88 题Transformer 中为什么要使用多头注意力机制？ 考察多头注意力的设计动机与理论优势第 89 题Attention机制有哪些常见类型？位置编码有哪些常见方式？ 考察对Transformer核心组件Attention机制和位置编码的分类与原理理解第 90 题在Transformer的Decoder中，为什么需要Mask来遮住未来的信息？ 考察对自回归生成与注意力机制因果性的理解第 91 题Transformer 中使用 softmax 可能存在哪些问题？应该如何解决？ 考察 Transformer 注意力机制中 softmax 的数值稳定性、梯度与效率问题及解决思路第 92 题请详细介绍一下Transformer的整体结构及其核心组件的作用。 考察对Transformer架构各组成部分的理解及其设计动机第 93 题Transformer中带Mask的Attention是如何实现的？ 考察掩码机制的原理与实现方式第 94 题请解释 Transformer 的核心原理，并说明它为什么能取代 RNN 成为主流模型。 考察对 Transformer 架构的深入理解及技术演进认知第 95 题请详细解释BERT模型的结构原理、主要缺点及其改进模型。 考察对BERT预训练模型原理的深入理解、局限性的把握以及相关改进工作的了解第 96 题请介绍Transformer结构。 考察对Transformer核心组件、设计动机和计算流程的理解第 97 题在 Transformer 架构中，MOE（混合专家模型）一般加在哪些位置？ 考察对 MOE 组件在 Transformer 中部署位置的理解第 98 题请讲讲Transformer中的并行化，以及为什么注意力计算中要除以根号dk？ 考察对Transformer并行化原理和注意力机制缩放因子的理解第 99 题训练过程中 Transformer 更新哪些参数？ 考察对 Transformer 模型训练时参数更新范围的掌握第 100 题请介绍除 DIN 之外的序列建模方法，并对比 Transformer 与 DIN 在推荐场景中的区别。 考察序列建模技术积累与推荐场景下的模型选型能力