ReLU激活函数存在哪些缺陷？针对这些缺陷有哪些常见的改进方案？

Question

Accepted Answer

考察点：考察ReLU激活函数的问题意识与改进技术。回答思路：指出ReLU神经元死亡问题的成因与表现 说明ReLU输出非零中心化对训练的影响 列举Leaky ReLU、PReLU、ELU等常见改进 简要对比各改进方案的适用场景

考察说明