在预训练阶段模型已同时涵盖代码与自然语言知识，进入SFT阶段后，学习新的代码知识相比学习新的自然语言知识哪个难度更大？请从预训练指标（如PPL）的角度分析原因。

Question

Accepted Answer

考察点：考察对预训练与SFT阶段知识获取差异及PPL指标含义的理解。回答思路：明确PPL在不同模态下的可比性前提 分析代码与自然语言在分布、熵和表示结构上的差异 结合预训练数据比例与SFT更新幅度说明难度差异 能指出PPL作为单一指标的局限并补充其他评估维度

考察说明