一个生成式 AI 功能准备从内测进入公开发布,你会设置哪些产品层面的上线门槛?
考察说明
考查基于证据作出 AI 产品上线决策的能力。
回答思路
- 先明确公开发布承诺的用户、场景和能力边界,确保产品文案不会把有限场景下的能力包装成普遍可靠。
- 核心任务必须通过预设的离线质量和安全门槛,高风险分层不能因总体平均分较高而被掩盖。
- 灰度用户的任务完成率、结果采纳率、严重错误率和人工接管情况应达到可接受水平,并有足够真实案例支撑。
- 确认峰值延迟、调用失败、成本上限和第三方模型故障时的降级方案,避免只验证正常路径。
- 完成隐私、权限、内容安全、数据保留和用户告知检查,涉及自动执行时还要验证确认和审计能力。
- 上线前明确监控指标、告警阈值、责任人和回滚条件;如果关键风险无法监测或回滚,就不应进入公开发布。