一个审核模型总体准确率达到百分之九十八,你为什么仍可能拒绝上线?请用漏判和误判说明你的判断。
考察说明
考查理解总体准确率、错误类型与业务基准率的基础判断能力。
回答思路
- 总体准确率会被占比很高的普通样本抬高,如果违规内容本来很少,模型全判正常也可能得到漂亮数字。
- 漏判是危险内容没有被识别,误判是正常内容被错误拦截,两类错误的业务后果和容忍度通常不同。
- 应分别查看召回、精确程度、混淆情况和不同风险分层,而不是用一个平均数字代表全部表现。
- 阈值调整会在漏判与误判之间取舍,需要依据安全损失、人工复核能力和用户影响确定。
- 上线还要验证数据是否代表真实流量、性能是否稳定以及失败能否被发现和接管,指标达标只是必要条件。