说一下SE模块，SE和注意力机制的激活函数，ReLU和Sigmoid的区别，以及ReLU的优势和特点。
考察说明
考察对SENet结构、注意力机制激活函数选择及ReLU与Sigmoid特性的理解
回答思路
- 准确描述SE模块的Squeeze和Excitation两个步骤及全局池化与全连接结构
- 指出SE模块中Sigmoid用于缩放通道权重，而注意力机制也可能结合ReLU
- 清晰对比ReLU与Sigmoid在梯度消失、计算效率、输出范围上的差异
- 说明ReLU的优势，如缓解梯度消失、稀疏激活、计算简单，并注意其死亡神经元缺点
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。