腾讯面试题 · Transformer
腾讯相关面试题，按最终去重题目聚合。
共 3056 道真题 · 当前筛选命中 26 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 21 题Transformer 中为什么要使用多头注意力机制？ 考察多头注意力的设计动机与理论优势第 22 题请手写一个Transformer的Decoder Block核心实现。 考察对Transformer解码器结构、核心算子和实现细节的掌握第 23 题Transformer 的位置编码是怎么做的？为什么需要它？ 考察对位置信息建模原理及常见实现的理解第 24 题能否解释Transformer使用多头注意力机制的动机？ 考察对多头注意力作用、动机及权衡的理解第 25 题Transformer中Pre-Norm和Post-Norm的设计差异是什么？对模型训练稳定性和性能有何影响？ 考察对Transformer归一化层位置差异及其对训练稳定性和性能影响的理解第 26 题请讲讲Transformer中的并行化，以及为什么注意力计算中要除以根号dk？ 考察对Transformer并行化原理和注意力机制缩放因子的理解