请解释损失函数的定义,并说明它在机器学习模型训练过程中承担哪些功能?
考察说明
考查对损失函数基本概念及其在训练中作用的理解。
回答思路
- 【回答框架 1】损失函数用于量化模型预测值与真实值之间的不一致程度,数值越小表示模型拟合越好。
- 【回答框架 2】在训练中,损失函数为优化算法提供目标,通过梯度下降等方法更新模型参数以最小化损失。
- 【回答框架 3】损失函数的选择影响模型学习方向,如回归常用均方误差,分类常用交叉熵。
- 【回答框架 4】损失函数还能帮助评估模型性能,并可作为正则化项平衡复杂度与拟合度。
- 【关键点 1】损失函数度量预测与真实的差距。
- 【关键点 2】它是优化算法的目标函数。
- 【关键点 3】不同类型任务选用不同损失函数。
- 【关键点 4】损失值越小,模型性能越好(在训练集上)。
- 【易错点 1】不能将损失函数最小化等同于模型泛化能力好,需防过拟合。
- 【易错点 2】不恰当选择损失函数可能导致训练不收敛或性能差。