请比较 Transformer 中 Pre-LayerNorm 与 Post-LayerNorm 的差异及其影响。
考察说明
考察候选人对 Transformer 归一化结构差异及其训练特性影响的理解
回答思路
- 清晰说明两种结构在残差连接与归一化顺序上的区别
- 指出 Pre-Norm 训练更稳定、收敛更快，但可能降低模型表达能力
- 指出 Post-Norm 通常能达到更高的最终性能，但训练对学习率与初始化更敏感
- 能结合实际经验说明在不同场景下的选择倾向
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。