在电商系统场景下,请举例说明哪些功能可以直接交给大模型实现,哪些功能必须结合工程化手段才能落地?
考察说明
考查候选人对大模型能力边界与工程化落地的理解,能否区分直接可用与需改造的场景。
回答思路
- 【回答框架 1】直接使用大模型的功能通常具备生成、理解、总结等非确定性任务特征,例如商品标题生成、客服话术生成、评论摘要、营销文案创作。这些任务对精确性要求低,允许一定幻觉,且输入输出结构简单,可通过提示词或简单后处理直接完成。
- 【回答框架 2】需要结合工程化手段的功能往往涉及高精度、强一致性、实时性、隐私或成本控制。例如商品分类、属性抽取、搜索排序、价格预测、库存预测、风控审核。这些场景需要引入检索增强生成、微调、规则校验、人工审核、缓存降级、模型服务化与监控等机制。
- 【回答框架 3】工程化手段的核心是弥补大模型的不确定性:通过知识库或数据库检索限定答案范围,通过结构化输出约束格式,通过置信度阈值和兜底规则处理低置信结果,通过A/B测试和灰度发布控制风险,通过缓存和异步化降低成本。
- 【回答框架 4】典型混合方案是生成加校验:先用大模型生成候选结果,再用规则或小模型校验,例如客服回复先由大模型起草,再由敏感词过滤和人工抽检把关;商品属性抽取先由大模型输出,再与数据库唯一约束比对去重。
- 【回答框架 5】最终判断标准是业务对错误容忍度:容忍度高的生成类任务可直接用,容忍度低或涉及资金、法律、安全的任务必须工程化兜底。
- 【关键点 1】生成类任务如文案、摘要、话术可直接用大模型,但需后处理。
- 【关键点 2】高精度任务如分类、抽取、风控必须结合检索增强、规则校验或人工审核。
- 【关键点 3】工程化核心是降低不确定性和成本,包括缓存、降级、监控、A/B测试。
- 【关键点 4】混合模式生成加校验是常见落地方式。
- 【关键点 5】判断依据是错误容忍度和业务风险等级。
- 【易错点 1】不能认为大模型能直接保证业务幂等或数据一致,需唯一约束和状态记录。
- 【易错点 2】不能忽略成本与延迟,直接调用大模型可能超出预算或超时。
- 【易错点 3】不能把大模型输出当最终结果,必须设计校验和兜底机制。