知识问答要求每句话都有引用,但模型经常引用了相关文档却支撑不了结论。你会如何治理这种“伪引用”?
考察说明
考查证据绑定、引用一致性检测和无依据拒答的设计能力。
回答思路
- 生成时要求结论绑定具体片段标识,引用由程序根据标识渲染,禁止模型自由编写链接和页码。
- 对每个关键陈述检查所引片段是否直接蕴含结论,只有主题相关但缺少事实支持仍应判为失败。
- 金额、日期和实体可做确定性比对,开放陈述可用带标准的人工或辅助模型审核并定期校准。
- 当证据不足、冲突或过期时让系统明确拒答或展示差异,不能为了满足引用格式拼接无关来源。
- 指标要分别统计答案正确、引用存在和引用支持率,并把伪引用案例加入检索与生成的联合回归集。