请说明激活函数有几种，各自的优缺点是什么？

Question

Accepted Answer

考察点：考察对常见激活函数的掌握程度及其适用场景。回答思路：列举常见的激活函数类型，如Sigmoid、Tanh、ReLU及其变体 说明每种激活函数的数学表达式和主要特性 分析每种激活函数的优缺点及适用场景 能够结合实际讨论梯度消失、梯度爆炸等问题

考察说明