如果 AI 助手能读取企业文档并调用业务系统,你认为上线前最需要防范哪些安全风险?
考察说明
考查对生成式 AI 数据安全、提示注入和工具权限风险的基本认识。
回答思路
- 首先建立威胁模型,覆盖敏感信息泄露、越权检索、提示注入、恶意工具调用、生成有害内容以及日志中残留隐私数据。
- 模型只能获得完成当前任务所需的最小权限,文档检索和工具调用必须沿用真实用户的身份与授权,不能因为经过模型就绕过访问控制。
- 外部网页、上传文件和检索内容都应视为不可信数据,其中出现的操作指令不能覆盖系统规则或自动获得执行权限。
- 有副作用的动作要做参数校验、幂等保护和风险分级,付款、删除、发送等高影响操作应要求用户确认或人工审批。
- 输入、输出、索引和日志中的个人信息与商业机密需要按用途最小化、脱敏、加密并设置保留期限。
- 上线前应进行提示注入、数据外泄和越权调用测试;上线后保留可审计记录、异常告警和快速停用工具的能力。