运营要把用户差评标注成可供模型团队使用的数据，但不同标注员结论差异很大。你会怎样搭建标注流程？

回答思路

1. 先根据可采取的改进动作定义标签，例如事实错误、引用不符、任务误解、格式失败、延迟和交互问题。
2. 为每类提供判定条件、正反例和优先级，允许多标签及不确定状态，不能强迫复杂问题落入单一模糊分类。
3. 使用一批共同样本培训和校准标注员，统计分歧并由领域人员仲裁高风险事实，而不是简单多数投票。
4. 自动带入模型版本、任务类型和用户后续行为，标注员只访问完成判断所需的最小内容并对敏感信息脱敏。
5. 持续抽检准确性、一致性和漏标严重问题，规则更新后记录版本并评估历史数据是否需要重标。
6. 向模型团队同时提供代表样本、发生频率和业务影响，修复后通过回归与线上同类错误率验证反馈真正闭环。