在线性模型家族中,线性回归与逻辑回归在使用场景、输出形式以及参数求解方法上有何不同?请从模型假设、目标函数和评估方式等角度展开说明。
考察说明
考查候选人对两类基础回归模型的本质区别及其适用场景的理解程度。
回答思路
- 【回答框架 1】线性回归用于回归问题,假设因变量为连续数值,模型形式为 y = w^T x + b,通过最小化均方误差求解参数,输出为任意实数,通常假设误差服从高斯分布。
- 【回答框架 2】逻辑回归用于分类问题(通常是二分类),在线性组合后施加 sigmoid 函数,将输出压缩到 (0,1) 区间,表示正类概率,通过最大化对数似然(交叉熵损失)求解参数,不要求特征与输出呈线性关系。
- 【回答框架 3】参数求解上,线性回归常使用最小二乘法或梯度下降,得到闭式解或数值解;逻辑回归没有闭式解,通常使用梯度下降或拟牛顿法迭代优化。
- 【回答框架 4】评估指标不同:线性回归常用均方误差、R2;逻辑回归常用准确率、精确率、召回率、AUC 等,并关注概率校准。
- 【关键点 1】线性回归输出连续值,逻辑回归输出概率(用于分类)。
- 【关键点 2】线性回归损失为均方误差,逻辑回归损失为交叉熵。
- 【关键点 3】线性回归可视为逻辑回归的特例(广义线性模型家族),但任务类型和输出分布假设不同。
- 【易错点 1】不要误认为逻辑回归是解决回归问题的模型。
- 【易错点 2】避免混淆逻辑回归与线性回归在损失函数上的选择,逻辑回归不能用均方误差作为主要损失。
- 【易错点 3】注意逻辑回归的决策边界是线性的,但概率与特征之间不是线性关系。