我要招人

电子/半导体行业面试题更新 2026-08-05

如何管理 LLM 推理中的 KV Cache？

小米集团人工智能电子/半导体性能优化技术原理vLLM

考察说明

考察 KV Cache 的组织、内存优化与长上下文处理能力

回答思路

  1. 说明 KV Cache 的作用与存储结构
  2. 覆盖 PagedAttention、GQA/量化等常见优化手段
  3. 讨论缓存淘汰或长上下文下的内存策略