人工智能面试题更新 2026-08-05

Transformer 的 Encoder 可以去掉 FFN(前馈网络)吗?为什么?是否可行?

快手人工智能互联网/IT技术原理方案权衡Transformer

考察说明

考察对 Transformer 结构各组件作用及权衡的理解

回答思路

  1. 说明 FFN 在 Transformer 中的作用(特征变换、非线性、容量)
  2. 分析去掉 FFN 后模型表达能力、训练稳定性和性能的影响
  3. 讨论部分变体(如 MLP-Mixer、轻量设计)中的替代或削减方案
  4. 给出明确结论并说明权衡与实验依据