我要招人

互联网/IT行业面试题更新 2026-08-05

请解释 DeepSeek 的 MLA（Multi-head Latent Attention）注意力机制的核心设计思路。

美团人工智能互联网/IT技术原理方案权衡

考察说明

考察对 MLA 架构原理的理解，包括压缩思想与实现方式

回答思路

  1. 说明 MLA 与标准 MHA 的主要区别
  2. 解释 Latent 压缩在 KV Cache 上的作用
  3. 描述低秩联合压缩与解耦 RoPE 的关键点
  4. 体现对压缩动机和效果的定量认识