在监督微调(SFT)中,如何实现损失函数只计算回答部分而忽略提示词和 padding token?
考察说明
考察对 SFT 训练细节、标签构造和损失计算的理解
回答思路
- 明确 SFT 中每个 token 的标签构造,提示词部分不参与损失计算
- 解释如何通过 attention mask 或 labels 设为 -100 来忽略 padding
- 说明使用交叉熵损失时如何只对有效位置进行反向传播
- 能结合具体框架(如 HuggingFace)说明实现方式
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。