在深度学习中，ReLU 激活函数在 x=0 处不可导，这一数学特性对模型训练有何具体影响？请从反向传播、梯度行为、优化过程等角度展开分析。
考察说明
考察候选人对 ReLU 函数在零点不可导这一特性的理解，以及其对深度学习实际训练过程的影响。
回答思路
- 【回答框架 1】ReLU 定义为 f(x)=max(0,x)，在 x=0 处确实不可导，但实际工程中通常约定其导数为 0 或 1，这种约定不影响整体训练。
- 【回答框架 2】反向传播时，ReLU 的梯度为：x>0 时为 1，x<0 时为 0，x=0 时可根据实现取 0 或 1。由于输入为 0 的概率极低，不可导点对梯度计算的实际影响可忽略。
- 【回答框架 3】ReLU 的稀疏激活特性：负输入梯度为 0，导致部分神经元永久失活，即 Dead ReLU 问题，这可能使模型表达能力下降，但也是其计算高效的原因之一。
- 【回答框架 4】针对 Dead ReLU，可改进为 Leaky ReLU、PReLU 等变体，它们在负区间引入小斜率，避免梯度消失。
- 【关键点 1】ReLU 在 x=0 处不可导，但工程上通常定义其导数为 0 或 1，实际影响可忽略。
- 【关键点 2】ReLU 的梯度在正区间恒为 1，缓解了梯度消失问题，加速收敛。
- 【关键点 3】负区间梯度为 0 可能导致神经元死亡，影响模型容量，可通过变体缓解。
- 【易错点 1】误以为不可导会导致训练无法进行，实际有次梯度或约定导数可用。
- 【易错点 2】忽略 Dead ReLU 问题，其可能由学习率过大或初始化不当引发。