MLA 为什么要对键值进行压缩？请分析其技术动机与收益。

Question

Accepted Answer

考察点：考察对压缩动机的理解，包括显存、带宽与推理效率。回答思路：指出长序列下 KV Cache 显存占用大的问题 解释压缩降低显存与访存带宽的原理 能把收益量化或结合梯度分析说明合理 能讨论压缩带来的可能损失与折中

考察说明