客户希望很快看到 AI 原型,但历史文档混乱,也没有现成的标注数据。你会怎样做一个既能快速验证、又不会靠演示样例自欺的 PoC?
考察说明
考查快速原型、评测设计和不确定性管理能力。
回答思路
- 先选一个高频且边界明确的真实任务,从近期工单、搜索记录或业务专家访谈中抽取代表性问题,避免只选择模型容易回答的展示样例。
- 与客户专家共同整理一小组独立验收案例,覆盖常见请求、长尾问题、缺少答案、资料冲突和敏感内容,并将开发调试样本与最终验收样本分开。
- 在投入复杂架构前先建立简单基线,例如现有关键词搜索或人工流程,从而判断新方案的收益究竟来自模型、检索还是流程重构。
- 原型优先保留引用、拒答和人工反馈入口,使错误可见;对于当前无法解决的数据问题,明确记录而不是通过提示词掩盖。
- 评价结果同时包含任务正确性、证据支持度、人工节省时间、失败类型、响应时延和运行成本,并由实际用户盲测或交叉复核关键案例。
- PoC 结束时输出继续、调整或停止的判断,列出生产化所需的数据治理、集成、安全和运维工作,防止把一次成功演示直接等同于可上线产品。