京东面试题更新 2026-08-05
请详细讲解大语言模型推理中的 KV Cache 机制。
京东人工智能电商性能优化技术原理
考察说明
考察对 Transformer 推理阶段 KV Cache 原理、作用及权衡的理解
回答思路
- 准确说明 KV Cache 存储的内容及其目的
- 解释为何解码阶段可复用历史 Key 与 Value
- 说明显存占用和序列长度带来的挑战
- 提及相关优化手段或边界条件
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
