在评估深度学习模型时，应该使用哪些主要指标和方法？请简述其适用场景。
考察说明
考察对深度学习模型评估指标和评估方法的系统理解。
回答思路
- 【回答框架 1】评估深度学习模型需从多个维度进行，包括分类问题的准确率、精确率、召回率、F1值、ROC-AUC，回归问题的MSE、MAE等指标。选择指标需结合任务类型和数据分布。
- 【回答框架 2】在类别不平衡场景下，准确率可能产生误导，应优先关注精确率、召回率或AUC。同时需区分训练集、验证集和测试集的作用，保证评估的客观性。
- 【回答框架 3】评估方法上，常采用交叉验证或留出法来估计模型泛化能力。对于时间序列数据，需注意时序交叉验证，避免数据泄露。
- 【回答框架 4】除了量化指标，还应关注模型的可解释性和可视化结果，如混淆矩阵、学习曲线等，帮助诊断模型问题。
- 【关键点 1】分类任务常用准确率、精确率、召回率、F1和AUC；回归任务常用MSE、MAE。
- 【关键点 2】类别不平衡时应偏向使用精确率、召回率、F1或AUC。
- 【关键点 3】评估需在独立的测试集上进行，避免数据泄露。
- 【关键点 4】交叉验证能更稳定地估计模型性能。
- 【关键点 5】可视化如混淆矩阵有助于分析错误类型。
- 【易错点 1】仅用准确率评估不平衡数据可能产生误导。
- 【易错点 2】将验证集用于调参后，再用其评估会造成过拟合。
- 【易错点 3】忽略时间序列数据的时序顺序可能导致评估乐观。