互联网/IT行业面试题 · 问题排查 · tech:transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 5 道 · 更新 2026-08-05
筛选题目已选：问题排查 · tech:transformer
考察点
技术栈
第 1 题Transformer 中使用 Softmax 有什么问题？该如何解决？ 考察对注意力机制中 Softmax 数值稳定性与表达能力问题的理解及改进方案第 2 题你说你之前做过深度学习，那你知道为什么AI会容易忘记上下文吗？ 考察对上下文管理机制与长文本处理瓶颈的理解第 3 题Transformer的Attention计算过程中为什么要对QK的点积进行scale？ 考察对Attention机制中数值稳定性和Softmax梯度的理解第 4 题Transformer现有架构在什么情况下，哪个模块会导致用户意图判别不准？ 考察对Transformer各模块原理及意图判别失败场景的理解第 5 题当 Transformer 网络层数过深导致训练不稳定时，你会如何处理？ 考察对深层 Transformer 训练稳定性问题的理解与解决手段