知识库里明明有正确答案,但 RAG 系统总是引用不相关的段落。你会按什么顺序定位问题?
考察说明
考查 RAG 检索链路诊断和基于证据的优化能力。
回答思路
- 先保存一条失败请求的原始问题、查询改写、过滤条件、候选文档、重排结果和最终上下文,确定错误发生在检索前、检索中还是生成阶段。
- 检查正确文档是否被索引、权限过滤是否误删、元数据是否完整,并验证文档更新后旧索引是否仍在被使用。
- 查看切分是否破坏标题、表格和上下段关系;块太小会丢失语义,块太大则引入噪声并挤占上下文。
- 分别测量候选召回和前列精度:正确块完全没出现时应调整查询、嵌入或混合检索,已经召回但排名靠后时优先检查重排。
- 对专有名词、编号和精确字段,可组合关键词检索与向量检索,并使用元数据过滤,但每项改动都应在固定失败集上验证。
- 生成端应要求引用具体证据并允许无答案;若上下文正确而回答仍错误,再检查提示冲突、上下文顺序和模型遵循能力。