为什么偏好对齐不能直接用偏好数据做 SFT，而要用强化学习？

回答思路

1. 说明 SFT 只能学习偏好数据的表面分布，无法显式区分优劣
2. 能解释 RL（如 RLHF）通过奖励模型采样优化，更好地处理分布外泛化
3. 能提到 SFT 会压缩偏好多样性、过度拟合正样本，忽略排序信息
4. 能讨论 RL 利用偏好排序信号，进行更直接的策略优化