字节跳动面试题更新 2026-08-05
预训练和SFT的loss计算差异？
字节跳动人工智能互联网/IT问题拆解技术原理
考察说明
考察对预训练与监督微调在损失函数设计上区别的理解
回答思路
- 能说明预训练常用自回归或掩码语言建模损失
- 能说明SFT基于指令-回复对的交叉熵损失
- 能指出两者在数据标注、目标序列和mask策略上的差异
- 能结合实际训练阐述为何SFT需要更强调指令遵循
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
