假设你要让模型把用户反馈归类并生成客服回复,你会怎样设计提示词和上下文,才能让结果稳定且便于后续系统使用?
考察说明
考查提示设计、上下文组织和结构化输出的基本能力。
回答思路
- 先把任务目标拆成明确字段,例如问题类别、紧急程度、判断依据和回复草稿,并限定类别枚举与字段格式,减少模型自由发挥的空间。
- 在提示中区分系统规则、业务资料和用户原文,明确用户输入只是待处理数据,不能覆盖系统指令。
- 提供少量具有代表性的正反例,尤其覆盖容易混淆的类别、信息不足和需要转人工的情况,比堆叠抽象形容词更容易获得稳定结果。
- 上下文只保留完成判断所需的政策、产品和用户信息,过长或互相矛盾的材料会增加误判,也会推高延迟与成本。
- 输出应使用可校验的结构,并由程序检查枚举值、必填字段和长度;校验失败时可以有限重试,但不能把坏数据静默写入下游。
- 提示词、示例和模型版本都需要版本化,并用固定测试集比较准确率、格式通过率和转人工率,避免凭个别示例判断效果。