请分别讲一下 GQA、MQA、MLA 的原理。

回答思路

1. 能分别说明 MQA、GQA、MLA 的核心思想与结构
2. 能解释三者相对标准多头注意力的改动点
3. 能说明各自在 KV 缓存、推理效率与效果间的权衡
4. 能指出 GQA 是 MQA 与 MHA 的折中
5. 能说明 MLA 通过低秩压缩减少 KV 缓存