在直接偏好优化中，用于训练模型的偏好数据通常是如何获取和构建的？请说明主要来源和构造方法。

回答思路

1. 能列举偏好数据的常见来源，如人类反馈、开源数据集、评估基准
2. 能说明如何构造应对（chosen/rejected）样本，包括采样与标注方式
3. 能讨论数据规模、质量与潜在偏差对DPO效果的影响