Loss乘10和学习率乘10之间有什么区别？

Question

Accepted Answer

考察点：考察对梯度缩放机制与超参数作用路径的理解。回答思路：说明Loss缩放直接改变梯度大小，影响参数更新步长 说明学习率缩放直接作用于参数更新步长，不改变梯度本身 讨论两者对优化轨迹的影响相似性及数值稳定性差异 在归一化或正则化场景下解释实际应用差异

考察说明