请结合你的实习项目，说明你是否尝试过使用 DPO（Direct Preference Optimization）来优化模型。

回答思路

1. 清晰说明曾用或未用 DPO，以及选择或不选的理由
2. 能解释 DPO 与 RLHF 等方法的区别与适用场景
3. 结合项目数据、训练流程或效果对比说明实际应用
4. 若未用，能说明替代方案及原因