高德地图面试题更新 2026-08-05
在Transformer自注意力推理中引入KV-Cache有什么作用？它是如何帮助加速推理的？
高德地图人工智能性能优化技术原理Transformer
考察说明
考察对KV-Cache机制及其推理加速原理的理解
回答思路
- 说明KV-Cache的作用：缓存历史token的Key和Value矩阵
- 解释避免重复计算历史token的K、V，减少推理计算量
- 说明解码阶段每个新token只需计算当前token的Q、K、V并与缓存拼接
- 指出KV-Cache以空间换时间，但受显存容量限制
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
