请解释梯度下降算法的基本概念，并说明该算法在机器学习任务中承担哪些关键功能？

回答思路

1. 【回答框架 1】梯度下降是一种一阶迭代优化算法，用于最小化目标函数。其核心机制是沿目标函数梯度的负方向更新参数，因为梯度指向函数值增长最快的方向，负方向则指向下降最快的方向。更新公式为参数等于当前参数减去学习率乘以梯度。
2. 【回答框架 2】在机器学习中，梯度下降用于训练模型，即通过最小化损失函数来寻找最优模型参数。损失函数衡量模型预测值与真实值的差距，梯度下降迭代调整参数，使损失函数值逐步降低，从而提升模型预测准确性。
3. 【回答框架 3】学习率是梯度下降的关键超参数，控制每次参数更新的步长。学习率过大会导致震荡甚至发散，过小则收敛缓慢。实际应用中常采用自适应学习率方法，如Adam、RMSprop，以平衡收敛速度和稳定性。
4. 【回答框架 4】梯度下降有多种变体，包括批量梯度下降、随机梯度下降和小批量梯度下降。批量梯度下降使用全部样本计算梯度，准确但计算量大；随机梯度下降每次使用一个样本，计算快但波动大；小批量梯度下降是折中方案，兼顾效率与稳定性。
5. 【回答框架 5】梯度下降的收敛性受损失函数凸性影响。对于凸函数，梯度下降可收敛到全局最优；对于非凸函数，可能陷入局部最优。实际中常通过多次随机初始化、动量方法或学习率调度来改善收敛结果。
6. 【关键点 1】梯度下降通过沿负梯度方向迭代更新参数以最小化目标函数。
7. 【关键点 2】学习率决定步长，过大导致发散，过小导致收敛缓慢。
8. 【关键点 3】机器学习中梯度下降用于最小化损失函数，优化模型参数。
9. 【关键点 4】常见变体包括批量、随机和小批量梯度下降，各有优劣。
10. 【关键点 5】非凸问题中梯度下降可能陷入局部最优，需结合策略改善。
11. 【易错点 1】不能将梯度下降视为保证找到全局最优解的方法，尤其在非凸问题中。
12. 【易错点 2】学习率设置不当是常见问题，需通过实验或自适应方法调整。
13. 【易错点 3】忽略特征缩放可能导致梯度下降收敛缓慢，应进行标准化处理。