人工智能面试题更新 2026-08-05

SFT 样本(含 prompt)与预训练样本在计算 Loss 时的区别,如何屏蔽 prompt 的 Loss?

字节跳动人工智能互联网/IT问题拆解技术原理

考察说明

考察对语言模型训练目标差异和 mask 机制的理解

回答思路

  1. 说明预训练与 SFT 的 Loss 计算对象差异
  2. 解释 SFT 中 prompt 不参与 Loss 的原因
  3. 描述实现屏蔽 prompt Loss 的具体方法
  4. 讨论标签偏移与序列截断等实现细节
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。