如何设计提示词或对话上下文来有效利用模型的KV Cache机制？

回答思路

1. 明确KV Cache的作用：缓存历史token的Key和Value，避免重复计算
2. 说明上下文长度与KV Cache显存占用、推理延迟和成本的关系
3. 提出复用系统提示词、固定问题前缀、控制上下文长度等设计策略
4. 讨论长上下文场景下的优化手段，如上下文压缩、剪枝或缓存复用