互联网/IT行业面试题 · 编码实现 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 26 道 · 更新 2026-08-05
筛选题目已选：编码实现 · Transformer
考察点
技术栈
第 21 题Transformer和LLaMA的Layer Normalization有什么区别？请手写RMSNorm。 考察对模型架构中归一化机制的理解及编码实现能力第 22 题请实现多头自注意力机制。 考察对Transformer核心组件的理解与编码实现能力第 23 题从代码实现上讲，Decoder中的Mask是如何作用在Self-Attention分数上的？ 考察对注意力分数加权与掩码矩阵应用的代码级理解第 24 题请实现一个多头自注意力机制（Multi-Head Self-Attention）。 考察对Transformer核心组件的理解及编码实现能力第 25 题在 Transformer 的缩放点积注意力中，为什么 Q 和 K 的点积要除以根号下 d_k，能不能用其他数值？请从数学原理上解释。 考察对注意力机制数学原理的理解，特别是方差分析与缩放因子的作用第 26 题请在白板/代码中实现Transformer的Decoder Block（含Masked Self-Attention与Cross-Attention）。 考察对Transformer Decoder结构、子层顺序及掩码细节的掌握与编码能力