VLLM prefix cache实现过吗？讲一下你的理解。

Question

Accepted Answer

考察点：考察对VLLM prefix cache机制、实现原理及优化场景的理解。回答思路：能解释prefix cache的核心思路是KV缓存前缀复用 能说明缓存命中与未命中时的处理流程 能提及缓存淘汰策略或与调度器的交互 能指出该机制在重复前缀场景下的收益边界

考察说明