AI 简历
简历模板
简历范文
模拟面试
求职导师
校招
求职攻略
大学生求职地图
求职攻略文章
浏览器插件
关于我们
我要招人
登录
登录
AI 简历
简历模板
简历范文
模拟面试
求职导师
校招
求职攻略
大学生求职地图
求职攻略文章
浏览器插件
关于我们
我要招人
首页
面试题库
深圳虾皮信息科技有限公司面试题
请解释GQA(分组查询注意力)和MLA(多头潜在…
深圳虾皮信息科技有限公司面试题
更新 2026-08-05
请解释GQA(分组查询注意力)和MLA(多头潜在注意力)等注意力机制的结构及其在LLM中的作用。
深圳虾皮信息科技有限公司
人工智能
互联网/IT
技术原理
方案权衡
LLM
考察说明
考察对前沿注意力机制原理的理解及在LLM中的应用
回答思路
清晰说明GQA如何分组共享KV,减少KV缓存并提升推理效率
清晰说明MLA如何通过低秩潜在向量压缩KV,进一步减少缓存
对比MHA、GQA、MLA的差异与适用场景
说明这些结构对推理速度、显存占用和模型质量的影响
换一题
上一题
Git 底层是如何实现 merge 合并的?
下一题
美团等外卖平台上的排行榜使用什么结构缓存的?
本题还出现在
互联网/IT行业面试题
人工智能面试题