淘天集团面试题更新 2026-08-05

在设计 Agent 评估时,如何衡量 planning 能力和 hallucination rate?

淘天集团人工智能互联网/IT数据驱动系统设计方案权衡

考察说明

考察对 Agent 规划能力与幻觉率的量化评估方法论

回答思路

  1. 能给出 planning 能力的具体衡量指标(如步骤正确率、规划完成度)
  2. 能说明 hallucination rate 的定义与测量方式(人工标注或自动对照)
  3. 能区分两者评估的数据来源和评测集的构建