我们做了一些multi-query attention优化,但发现decoder延迟还是高,你觉得是哪里的瓶颈?vLLM本身的KV cache是不是反而是负担
考察说明
考察对LLM推理延迟瓶颈的系统性分析和KV cache作用的理解
回答思路
- 能全面分析解码延迟的多个可能瓶颈，如显存带宽、算子效率、调度等
- 能准确评估multi-query attention优化的收益与剩余瓶颈
- 能辩证分析KV cache的合理性，指出其在特定场景下的开销与优化空间
- 能提出具体的排查思路和优化方向
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。