在大模型应用中，一般会采用哪些技术手段来同时支持长期记忆和短期记忆？

回答思路

1. 【回答框架 1】短期记忆通常依赖模型自身的上下文窗口，将最近的对话或输入直接放入输入序列中，模型通过注意力机制处理，但受限于窗口大小，超出部分会被截断或遗忘。
2. 【回答框架 2】长期记忆一般通过外部存储实现，常见方案包括向量数据库（如FAISS、Milvus）存储历史信息，并采用嵌入模型将文本转换为向量，在需要时进行相似度检索，将最相关的历史片段注入当前上下文。
3. 【回答框架 3】另一种方法是利用数据库或缓存（如Redis）存储关键状态，按业务规则进行读写，结合显式的记忆管理模块，例如记忆的写入、更新、遗忘策略，以支持多轮对话中的长期依赖。
4. 【回答框架 4】此外，可以使用摘要或压缩机制，将早期对话内容压缩为摘要后存储，在必要时重新注入，从而减少对窗口的占用并保持关键信息。
5. 【回答框架 5】混合方案会在系统中结合多种手段：短期用窗口，长期用向量检索加摘要，并根据任务复杂度选择不同的记忆粒度与更新频率，以平衡效果与资源消耗。
6. 【关键点 1】短期记忆主要依赖模型的上下文窗口，受限于固定长度。
7. 【关键点 2】长期记忆常用向量数据库和检索增强，通过相似度匹配注入相关历史信息。
8. 【关键点 3】记忆管理需要明确的读写与遗忘策略，例如摘要压缩或按时间衰减。
9. 【关键点 4】实际落地时根据场景组合窗口、向量检索和数据库缓存，并进行效果与成本权衡。
10. 【易错点 1】不能将记忆机制等同于模型自身能力，模型本身无持久记忆，所有长期记忆都依赖外部存储与检索。
11. 【易错点 2】检索质量直接影响效果，若嵌入不准确或索引更新不及时，可能导致注入无效或错误信息。
12. 【易错点 3】增加检索会带来额外延迟和计算开销，需要控制检索数量与更新频率，避免影响响应速度。