互联网/IT行业面试题 · 方案权衡 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 94 道 · 更新 2026-08-05
筛选题目已选：方案权衡 · Transformer
考察点
技术栈
第 81 题Encoder中的self-attention和Decoder中的self-attention有什么区别？ 考察对Transformer编码器与解码器注意力机制差异的理解第 82 题在 DIN（Deep Interest Network）中，Attention 的计算方式与标准 Transformer 的 Attention 有何不同？ 考察对 DIN 中局部激活单元（Attention 机制）的理解及其与 Transformer Attention 的对比第 83 题请比较正余弦位置编码（如Transformer原始实现）与RoPE（旋转位置编码）的异同，并说明RoPE相对于正余弦编码的优势。 考察对位置编码原理及其演进的理解，特别是RoPE的设计动机与优势第 84 题从技术原理和实际应用角度看，Mamba 未来是否有取代 Transformer 的可能？请结合两者核心机制说明你的判断。 考察对两种模型架构差异的理解及技术趋势判断能力第 85 题请阐述Transformer的原理以及和其他注意力机制的区别 考察对Transformer架构核心机制及其演进脉络的理解程度第 86 题请说明 RoPE 旋转位置编码的核心思想。 考察对 RoPE 原理及相对位置建模的理解第 87 题Transformer注意力分数为何要做缩放（即为什么除以根号d）？ 考察对注意力机制数学动机和数值稳定性的理解第 88 题Qwen2.5-VL 中的 Transformer 结构与普通 Transformer 结构有哪些不同？ 考察对现代 LLM 架构演进及视觉语言模型适配机制的理解第 89 题Transformer架构为什么要切分为多头？ 考察对多头注意力机制设计动机与效果的理解第 90 题为什么Transformer模型要采用多头注意力机制而不是单头注意力？ 考察对多头注意力机制设计动机与效果的理解第 91 题Transformer中Encoder和Decoder的区别和联系，以及如果单独分开使用的话，各自的优缺点是什么？ 考察对Transformer架构的理解、模块职责划分及独立使用的适用场景分析第 92 题MOE(混合专家模型)和传统Transformer的核心区别是什么? 考察对MoE架构及其与标准Transformer差异的理解第 93 题了解过之前的NLP技术吗？BERT是怎么样的，跟大模型相比的优势是什么？ 考察BERT技术理解及与LLM对比的认知深度第 94 题Prenorm和Postnorm是什么区别？ 考察对Transformer及深度学习模型中归一化位置选择的理解