请解释什么是KV Cache，以及为什么一般只缓存Key和Value矩阵，而不对Query和Key的乘积做缓存？

Question

Accepted Answer

考察点：考察对Transformer推理优化中KV Cache原理及缓存粒度的理解。回答思路：清楚说明KV Cache的存储对象是Key和Value矩阵 解释Query在每次生成时因位置不同而动态变化 说明缓存QK点积会导致存储量随序列长度平方增长且无法复用 能联系推理时的解码流程说明缓存复用机制

考察说明