我要招人

人工智能面试题更新 2026-08-05

GPT 模型使用的激活函数有哪些？

字节跳动人工智能互联网/IT技术原理Transformer

考察说明

考察对 Transformer 激活函数及其位置和原因的理解

回答思路

  1. 说明 Transformer 中常用的激活函数是 GELU
  2. 能指出激活函数在 FFN 层中的位置
  3. 能解释使用 GELU 相对于 ReLU 的平滑性优势
  4. 可提及其他变体如 GeGLU 或 SwiGLU 及其区别