产品允许用户创建并分享自定义 Agent,怎样设计模板市场,避免低质量或危险 Agent 扩散?
考察说明
考查 Agent 生态的质量、安全与治理设计。
回答思路
- 发布者必须声明 Agent 的用途、数据源、工具权限和已知限制,市场页面不能只展示吸引点击的能力描述。
- 按动作风险采用首次授权、逐次确认、管理员审批或直接禁用;不可逆的高风险发送、购买和删除再强制逐次确认。
- 上线前用标准安全测试和代表任务检查提示注入、越权、数据泄露及循环调用,高风险类别要求人工审核。
- 安装时展示 Agent 将访问什么和执行什么,权限变更需要重新授权,用户可以随时停用并撤销连接。
- 排名综合有效任务、留存、投诉、安全记录和审核状态,不能用调用量激励夸张承诺或诱导高成本行为。
- 建立举报、下架、版本回滚和受影响用户通知机制,模板更新后重新评测而非沿用旧版本信任。