人工智能面试题 · 问题排查 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 7 道 · 更新 2026-08-05
筛选题目已选：问题排查 · Transformer
考察点
技术栈
第 1 题Transformer 中使用 Softmax 有什么问题？该如何解决？ 考察对注意力机制中 Softmax 数值稳定性与表达能力问题的理解及改进方案第 2 题你认为 Transformer 的性能瓶颈主要来源于哪里？ 考察对 Transformer 计算和内存瓶颈的深入分析第 3 题在 Masked Multi-Head Attention 中，mask 掩码值为什么通常取-1（或一个较大的负数）？ 考察对注意力机制中 softmax 数值处理和掩码原理的理解第 4 题当 Transformer 网络层数过深导致训练不稳定时，你会如何处理？ 考察对深层 Transformer 训练稳定性问题的理解与解决手段第 5 题Transformer的Attention计算过程中为什么要对QK的点积进行scale？ 考察对Attention机制中数值稳定性和Softmax梯度的理解第 6 题Transformer的Softmax能否去掉，为什么？ 考察自注意力机制中Softmax的作用、数值稳定性及替代方案的理解第 7 题Transformer现有架构在什么情况下，哪个模块会导致用户意图判别不准？ 考察对Transformer各模块原理及意图判别失败场景的理解