介绍一下 LN(Layer Normalization)和 BN(Batch Normalization),两者的使用场景有什么不同?
考察说明
考察对两种归一化方法的原理理解及适用场景辨析
回答思路
- 准确说明 BN 是对 batch 维度归一化,LN 是对层内神经元归一化
- 解释 BN 依赖 batch 大小、受 batch 统计量影响,LN 与 batch 无关
- 结合实际场景说明 BN 适用于 CNN 等固定 batch 训练,LN 适用于 RNN、Transformer 等变长或小 batch 场景
- 提及 BN 训练与推理时使用统计量的差异,LN 训练推理一致
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。