互联网/IT行业面试题 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 348 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 201 题Transformer和LLaMA的Layer Normalization有什么区别？请手写RMSNorm。 考察对模型架构中归一化机制的理解及编码实现能力第 202 题请介绍 Transformer 中 Q、K、V 分别的作用是什么？ 考察对注意力机制核心概念的理解第 203 题请讲解MHA、MQA、GQA和MLA的原理与区别，并说明各自的适用场景。 考察对注意力机制变体的理解深度及工程选型考量第 204 题八股:Transformer Encoder 中 FFN 的作用是什么? 考察对 Transformer 前馈网络功能与设计原理的理解第 205 题介绍SwiGLU激活函数及其在Transformer中的应用。 考察对SwiGLU激活函数的原理、优势及在Transformer架构中应用的理解第 206 题请详细解释Transformer模型的结构和关键机制，包括自注意力、多头注意力和位置编码。 考察对Transformer核心架构和原理的深入理解第 207 题请解释Transformer的多头注意力机制原理。 考察对自注意力机制和多头结构设计的理解第 208 题Transformer的encoder和decoder结构有什么区别？ 考察对Transformer核心组件差异的理解第 209 题Encoder-Decoder、Decoder-Only 哪种方式更好？ 考察对两类模型架构的适用场景和技术权衡的理解第 210 题实习时你微调过Qwen2，请说说Qwen2的模型结构，以及相比Qwen1做了哪些改进？ 考察对大语言模型结构演进的理解和对比分析能力第 211 题请介绍Qwen系列模型的结构和特点。 考察对Qwen系列模型架构、设计理念和关键特性的了解第 212 题BERT模型相较于Transformer架构的优化是什么？ 考察对BERT核心创新及与Transformer基础架构差异的理解第 213 题请简述BERT的架构、输入表示、训练流程和位置编码方式。 考察对BERT模型核心组件的理解与系统性表达第 214 题请描述Transformer模型中不同模块（如词嵌入、多头注意力、前馈网络）输入输出张量的维度变化过程。 考察对Transformer内部张量维度流转及多头注意力机制的理解第 215 题Transformer训练过程中为什么容易出现梯度消失或爆炸问题？ 考察对Transformer训练稳定性的原理理解和优化手段第 216 题请解释一下 BERT 的模型结构和原理。 考察对 BERT 架构、预训练任务和关键机制的理解深度第 217 题请介绍Transformer的核心结构组成，并解释其关键设计意图。 考察对Transformer架构原理的深入理解。第 218 题请介绍对编码模型（如代码生成模型）的了解，包括原理和优缺点。 考察对代码生成模型原理及局限的认知第 219 题在Transformer中为什么要使用位置编码？ 考察对Transformer结构无位置信息依赖的理解及位置编码的必要性第 220 题Attention结果为什么最后需要接一个全连接层再进行输出，作用是什么？ 考察对Transformer中Attention输出与全连接层作用的理解