Transformer 中通常使用哪种归一化方式？为什么选择 Layer Normalization 而非 Batch Normalization？
考察说明
考察对 Transformer 中归一化技术选型及其理论依据的理解
回答思路
- 明确指出 Transformer 使用 Layer Normalization
- 解释 Layer Normalization 与 Batch Normalization 的计算差异
- 说明在序列建模中 Layer Normalization 的优势，如不依赖 batch 大小、适用于变长输入
- 结合 Transformer 训练稳定性说明 Layer Normalization 的实践价值
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。