哔哩哔哩面试题更新 2026-08-05

请解释LLM预训练阶段使用的损失函数,并说明其原理和为什么适合语言建模任务。

哔哩哔哩人工智能技术原理

考察说明

考察对语言模型预训练目标函数的理解

回答思路

  1. 准确说出常用的预训练损失函数(如交叉熵)
  2. 解释损失函数的计算方式(如基于token的预测)
  3. 说明该损失函数如何促进模型学习文本概率分布
  4. 能联系自回归或掩码语言建模的不同范式
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。