互联网/IT行业面试题更新 2026-08-05

在监督微调(SFT)中,如何实现损失函数只计算回答部分而忽略提示词和 padding token?

美团人工智能互联网/IT编码实现问题拆解技术原理PyTorch

考察说明

考察对 SFT 训练细节、标签构造和损失计算的理解

回答思路

  1. 明确 SFT 中每个 token 的标签构造,提示词部分不参与损失计算
  2. 解释如何通过 attention mask 或 labels 设为 -100 来忽略 padding
  3. 说明使用交叉熵损失时如何只对有效位置进行反向传播
  4. 能结合具体框架(如 HuggingFace)说明实现方式
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。