在大模型预训练中，常用的损失函数有哪些？为什么通常采用交叉熵损失？

Question

Accepted Answer

考察点：考察预训练损失函数的选择及其数学动机。回答思路：能列举交叉熵损失并说明其用于类别预测的原理 能解释为何用交叉熵而非均方误差（梯度、概率分布对齐） 能说明掩码语言建模或自回归中损失函数的应用形式

考察说明