请解释 GPTCache 的概念及其主要用途。

回答思路

1. 【回答框架 1】GPTCache 是一个用于大语言模型推理的开源缓存库，通过缓存 LLM 的响应来减少重复请求的延迟和成本。它主要面向查询级缓存，即对相同或相似的输入提示返回缓存的生成结果。
2. 【回答框架 2】其核心思想是结合语义缓存和传统缓存：当收到新的查询时，先通过嵌入模型将查询向量化，然后在向量数据库中检索相似的历史查询，若相似度超过阈值则直接返回缓存答案，否则调用真实 LLM 并存储新结果。
3. 【回答框架 3】GPTCache 通常用于高频相似查询的场景，如客服问答、知识库检索、代码建议等，能显著降低 API 调用费用和响应时间，同时保持结果一致性。它也支持多种嵌入模型、向量存储和相似度算法，便于集成到现有 LLM 应用中。
4. 【回答框架 4】需要注意的是，GPTCache 适用于非敏感且允许缓存的场景，不适用于需要实时动态信息或个性化输出的场合。缓存命中率取决于查询分布和相似度阈值设置。
5. 【关键点 1】GPTCache 是 LLM 响应缓存库，减少延迟和成本。
6. 【关键点 2】它使用语义缓存，通过嵌入向量和向量数据库实现相似查询复用。
7. 【关键点 3】适用场景包括高频相似问答、客服系统等。
8. 【关键点 4】不适用于动态数据或强个性化输出。
9. 【关键点 5】配置嵌入模型和向量存储可调整缓存效果。
10. 【易错点 1】误将缓存用于实时或个性化要求高的场景，导致结果过时或不准确。
11. 【易错点 2】相似度阈值设置不当，过高则命中率低，过低则返回错误匹配。
12. 【易错点 3】忽略缓存一致性问题，如知识更新后旧缓存仍被使用。