面对超大上下文长度超出模型窗口上限的情况，工程上一般会采取哪些手段来应对？

回答思路

1. 【回答框架 1】核心思路是让模型在固定窗口内看到最相关的信息。常见做法包括内容截断与摘要，即保留开头和结尾、压缩中间段落，或对历史对话做分层摘要，用摘要代替原文。
2. 【回答框架 2】另一类做法是检索增强，例如引入向量数据库，将文档分块并建立索引，按查询相关性召回top k片段拼接到提示中，从而突破固定窗口限制。
3. 【回答框架 3】也可采用滑动窗口或层级记忆机制，例如按时间或主题维护不同粒度的记忆，显式管理哪些信息常驻、哪些被淘汰，控制送入模型的token数。
4. 【回答框架 4】工程上还需考虑成本与效果权衡，如流式处理长文档、并行切片再合并答案，或使用模型自身的摘要能力做迭代压缩，最终取决于业务对信息完整度和延迟的要求。
5. 【回答框架 5】综上，没有银弹，通常组合使用截断、检索、摘要和记忆管理，并配合监控实际上下文占用率来调优。
6. 【关键点 1】窗口限制的实质是输入序列长度约束，工程目标是降低单次请求的token量。
7. 【关键点 2】截断、摘要、检索增强和层级记忆是四种主流策略，可组合使用。
8. 【关键点 3】检索增强依赖分块质量和向量召回效果，需要评估命中率。
9. 【关键点 4】滑动窗口和记忆管理适合对话场景，需控制状态一致性和遗忘策略。
10. 【关键点 5】任何方法都有信息丢失风险，需结合评估指标和成本预算选择。
11. 【易错点 1】不能只依赖截断，可能会丢失关键信息，需设计摘要或检索兜底。
12. 【易错点 2】检索增强若分块不合理或索引更新不及时，召回质量会下降。
13. 【易错点 3】过度压缩摘要会引入语义偏差，影响下游推理。