微调、预训练和强化学习三者在训练目标、数据构造、训练算法和优化思路上的区别与联系？

回答思路

1. 准确区分三者训练目标：预测、对齐、奖励最大化
2. 说明数据构造方式差异：无监督语料、指令标注、奖励信号
3. 点明训练算法差异：语言建模损失、监督微调、策略梯度
4. 强调优化思路联系：预训练提供基础，微调注入指令能力，强化学习优化偏好
5. 补充工程细节如损失函数、采样策略和稳定性问题