在正式上线后的生产环境里，你会采用哪些手段来持续监控 AI 模型的性能，并做好后续的维护工作？

回答思路

1. 【回答框架 1】监控的核心是定义业务与模型两套指标：业务指标如转化率、留存、用户满意度，模型指标如准确率、召回率、AUC、均方误差等。需按模型类型与业务目标选择，并设定阈值与告警规则。
2. 【回答框架 2】数据层面要监控特征分布漂移与标签分布变化，常用方法包括统计检验（如PSI、KS检验）和可视化对比，及时发现训练与线上数据不一致的问题。
3. 【回答框架 3】模型层面关注预测结果分布、置信度变化以及错误案例的抽样分析，可结合影子模式或金丝雀发布，在真实流量中对比新旧版本表现。
4. 【回答框架 4】维护流程包括定期重训练（按时间或触发条件）、自动化流水线（数据校验、训练、评估、部署）、回滚机制与模型版本管理，并记录每次迭代的指标变化。
5. 【回答框架 5】建立监控看板与告警体系，整合日志、指标与追踪系统，明确责任人与响应SLA，形成从发现问题到定位、修复、验证的闭环。
6. 【关键点 1】监控需同时覆盖业务指标与模型指标，并设定合理阈值。
7. 【关键点 2】数据漂移检测是维护的关键，常用PSI或KS检验。
8. 【关键点 3】采用影子模式或金丝雀发布进行线上模型对比。
9. 【关键点 4】建立自动化重训练与回滚机制，保证模型可迭代。
10. 【关键点 5】监控体系需包含告警、日志与责任分工，形成闭环。
11. 【易错点 1】只关注模型指标而忽略业务指标，导致优化方向偏离。
12. 【易错点 2】未设置数据漂移检测，线上分布变化后模型性能下降而不自知。
13. 【易错点 3】重训练过于频繁或缺乏验证，可能引入新问题或成本过高。