在微调 Qwen 系列模型时，如果验证集 loss 出现震荡，可能的原因有哪些？

Question

Accepted Answer

考察点：考察对大模型微调过程中损失不稳定的理解与排查能力。回答思路：能列举学习率过大、批次不均衡、数据噪声等常见原因 能结合优化器、调度器、梯度裁剪等训练配置分析 能给出调整学习率、检查数据分布、监控梯度等排查思路

考察说明