在挑选优化器时，你通常会重点考察哪些关键参数？

回答思路

1. 【回答框架 1】优化器参数主要影响收敛速度、稳定性和最终性能。核心参数包括学习率、动量、权重衰减等。学习率控制步长，过大导致震荡，过小收敛慢；动量加速收敛并减少震荡；权重衰减用于正则化，防止过拟合。
2. 【回答框架 2】不同优化器对参数敏感度不同。SGD需要精细调整学习率，Adam自适应调整学习率，对初始学习率不敏感，但可能影响泛化。选择时需考虑任务类型、数据规模和计算资源。
3. 【回答框架 3】实际使用中，常采用学习率调度策略，如余弦退火、阶梯下降，以提升收敛效果。同时需监控训练曲线，调整参数以避免发散或欠拟合。
4. 【回答框架 4】最终选择需结合实验验证，对比不同优化器在验证集上的表现，并考虑训练时间和内存占用。
5. 【关键点 1】学习率是核心参数，影响收敛速度和稳定性。
6. 【关键点 2】动量参数加速收敛并减少震荡。
7. 【关键点 3】权重衰减提供正则化，防止过拟合。
8. 【关键点 4】Adam自适应学习率，对初始学习率不敏感。
9. 【关键点 5】选择优化器需结合任务和实验验证。
10. 【易错点 1】不能仅依赖默认参数，需根据任务调整。
11. 【易错点 2】Adam可能影响泛化，需关注验证集表现。
12. 【易错点 3】学习率过高导致发散，过低收敛缓慢。