我要招人

滴滴面试题更新 2026-08-05

Transformer 中 LayerNorm 放在 Attention 前还是后？有什么区别？

滴滴人工智能技术原理方案权衡Transformer

考察说明

考察对 Transformer 架构细节的理解及两种归一化位置的设计差异

回答思路

  1. 准确说明 Post-LN 与 Pre-LN 的放置位置
  2. 解释两者在梯度流动、训练稳定性和性能上的区别
  3. 能结合实际场景说明适用性