Transformer 中为何使用 LayerNorm 而非 BatchNorm？这对大模型训练的稳定性有何影响？
考察说明
考察对归一化机制差异及其对训练稳定性的影响的理解
回答思路
- 解释 LayerNorm 与 BatchNorm 在归一化维度上的区别
- 说明 LayerNorm 对序列长度和 batch size 变化的不敏感性
- 指出 LayerNorm 在梯度传播和激活尺度控制上的优势
- 分析其在大模型训练中提升稳定性和收敛性的作用
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。