我要招人

快手面试题更新 2026-08-05

为什么KV Cache对长上下文推理尤其关键？

快手人工智能互联网/IT性能优化技术原理方案权衡Transformer

考察说明

考察对长上下文推理复杂度与缓存依赖的理解

回答思路

  1. 说明长上下文下自注意力计算量随序列长度平方增长
  2. 指出KV Cache可避免重复计算历史token的注意力
  3. 能讨论显存瓶颈与分页或量化等优化手段