请解释 Weight Decay 的原理及其在神经网络训练中的作用。

回答思路

1. 准确描述 Weight Decay 的数学形式（在损失函数中加入权重平方和的惩罚项）
2. 解释其如何通过减小权重幅值来防止过拟合
3. 说明 Weight Decay 与 L2 正则化的关系
4. 能联系优化器（如 SGD、Adam）中 Weight Decay 的实际实现差异
5. 讨论选择合适 Weight Decay 系数的考虑因素