小天才面试题 · Transformer
小天才相关面试题，按最终去重题目聚合。
共 314 道真题 · 当前筛选命中 6 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 1 题在 Masked Multi-Head Attention 中，mask 掩码值为什么通常取-1（或一个较大的负数）？ 考察对注意力机制中 softmax 数值处理和掩码原理的理解第 2 题请介绍Transformer模型的主要结构和工作原理。 考察对Transformer核心组件、自注意力机制及整体工作原理的理解第 3 题Transformer中为什么缩放因子要除以根号dk？ 考察对注意力机制数值稳定性和原理的理解第 4 题Transformer的Attention计算为什么要除以根号d 考察对注意力机制缩放因子的理解及数值稳定性第 5 题请写出Transformer核心计算公式，并说明各组件的作用。 考察对Transformer核心计算机制的掌握程度第 6 题Masked Multi-Head Attention的mask怎么做的 考察对Masked Multi-Head Attention中mask机制的理解和实现细节