Transformer的normalization,为什么用LayerNorm不用其他的;介绍RMSNorm

Question

Accepted Answer

考察点：考察对Transformer归一化机制的理解与归一化技术选型的权衡。回答思路：解释LayerNorm在序列建模中的适用性（与BatchNorm对比） 说明RMSNorm的原理、公式及其与LayerNorm的差异 分析RMSNorm的动机（简化计算、省去均值中心化）与可能影响

考察说明