大模型在预训练阶段预测下一个 token 时，交叉熵损失是如何计算的？

Question

Accepted Answer

考察点：考察对自回归语言模型训练目标和交叉熵损失的理解。回答思路：准确说明模型输出为词表上的概率分布 正确描述对每个位置取预测分布与真实 token 的交叉熵 说明损失通常按序列长度和批次求平均

考察说明