请说明逻辑回归在解决二分类和多分类问题时分别采用哪些处理方式?
考察说明
考察对逻辑回归从二分类扩展到多分类的机制理解。
回答思路
- 【回答框架 1】二分类逻辑回归通过线性组合加sigmoid函数输出一个0到1之间的概率值,常用交叉熵损失训练。
- 【回答框架 2】多分类问题常见两种策略:一是使用多个二分类器,如一对一或一对多;二是直接使用softmax回归,输出各类别概率。
- 【回答框架 3】softmax回归将线性得分指数归一化,使所有类别概率和为1,损失用交叉熵,适合互斥类别。
- 【回答框架 4】若类别不互斥,可训练多个独立的二分类器,每个类别一个,使用sigmoid输出。
- 【回答框架 5】选择依据包括类别是否互斥、样本量、计算开销等,softmax通常用于单标签问题,多个sigmoid用于多标签问题。
- 【关键点 1】二分类使用sigmoid输出一个概率,多分类可使用softmax或多个sigmoid。
- 【关键点 2】softmax适合互斥类别,多个sigmoid适合非互斥多标签。
- 【关键点 3】训练损失通常使用交叉熵。
- 【易错点 1】不能将softmax误用于非互斥多标签场景。
- 【易错点 2】一对多策略在类别不平衡时可能表现不佳。