你准备把文字客服助手升级为能理解截图和照片的多模态助手,首期产品范围和验收标准会怎么定?
考察说明
考查多模态能力产品化和边界验证。
回答思路
- 从高频且视觉信息确实必要的任务中选首期,例如识别报错截图,而不是泛化为可以理解任何图片。
- 明确支持的图片格式、清晰度、语言和内容类型,对模糊、裁剪、遮挡和多图顺序规定追问或拒绝行为。
- 涉及账号、地址和证件等敏感画面时提供上传提醒、最小化保存和自动遮盖,并限制内容进入日志或训练流程。
- 评测同时覆盖视觉识别、文字理解、图文关系和最终任务完成,防止只验证图片描述看起来流畅。
- 对截图中的网页指令和二维码等外部内容按不可信输入处理,不能因此绕过系统规则或触发高风险工具。
- 先向小范围客服人员提供可核验结果与原图定位,观察人工修正、处理时长和严重误判后再开放给终端用户。