我要招人登录

人工智能面试题更新 2026-08-05

为什么KV Cache对长上下文推理尤其关键？

快手人工智能互联网/IT性能优化技术原理方案权衡Transformer

考察说明

考察对长上下文推理复杂度与缓存依赖的理解

回答思路

说明长上下文下自注意力计算量随序列长度平方增长
指出KV Cache可避免重复计算历史token的注意力
能讨论显存瓶颈与分页或量化等优化手段