请说明SwiGLU相比传统激活函数的改进在哪里？

Question

Accepted Answer

考察点：考察对SwiGLU激活函数设计动机与优势的理解。回答思路：指出SwiGLU是门控线性单元与Swish激活的结合 解释其引入可学习的门控机制增强表达能力 说明其在实践中对训练稳定性和性能的提升

考察说明