美团面试题更新 2026-08-05

LoRA 是否只能在 Linear 层插入?为什么不能插在 LayerNorm 之后?

美团人工智能互联网/IT技术原理方案权衡

考察说明

考察对 LoRA 适用层类型及 LayerNorm 特性的理解

回答思路

  1. 说明 LoRA 可插入多种参数化层
  2. 分析 LayerNorm 的归一化性质与低秩假设冲突
  3. 指出插入位置对表达能力和稳定性的影响