SFT的loss是什么,若target有10或100个token,loss如何计算

Question

Accepted Answer

考察点：考察对监督微调损失函数及按token粒度计算loss的理解。回答思路：准确说明SFT通常使用交叉熵损失 解释对每个token位置计算交叉熵并取平均或求和的过程 能说明针对完整target序列和批量场景的loss聚合方式 理解padding mask对loss计算的影响及loss计算原理

考察说明