SFT 的数据规模是否会呈现类似预训练的 scaling law？如何理解其适用性？

Question

Accepted Answer

考察点：考察对 scaling law 在指令微调领域是否成立的批判性认识。回答思路：能区分预训练与 SFT 在数据语料和目标上的差异 能分析 SFT 数据规模与模型能力之间非线性关系的原因 能说明即便存在统计规律，也难以直接套用预训练的 scaling law

考察说明