互联网/IT行业面试题 · 性能优化 · tech:transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 16 道 · 更新 2026-08-05
筛选题目已选：性能优化 · tech:transformer
考察点
技术栈
第 1 题针对 Transformer 模型推理过程，您会采用哪些优化手段（如 KV Cache、算子融合等）？请说明原理及收益。 考察对 Transformer 推理加速技术的原理理解与工程实践能力第 2 题请简述Transformer的架构、注意力机制的公式以及QKV cache的作用。 考察对Transformer核心机制的理解及工程优化意识第 3 题Transformer 中使用 softmax 可能存在哪些问题？应该如何解决？ 考察 Transformer 注意力机制中 softmax 的数值稳定性、梯度与效率问题及解决思路第 4 题为什么 KV Cache 能极大地提升推理速度？ 考察对计算复杂度和推理性能优化原理的理解第 5 题请介绍你对大模型推理中 KV Cache 的理解，包括它的作用、存储内容以及可能带来的问题。 考察对大模型推理优化核心机制的理解深度第 6 题我们现在是两阶段推荐架构：第一阶段召回用的是 embedding 点积召回，第二阶段是 MLP 跟 transformer 做多目标打分。那你觉得在我们这么大规模的数据量下，如果要做 real-time re-ranking，你会在架构上怎么做 trade-off？怎么压低 latency？ 考察推荐系统实时重排架构的延迟与效果权衡能力第 7 题DeepSeek 用的 MLA（Multi-head Latent Attention）注意力机制是如何实现的？ 考察对 MLA 压缩注意力机制原理的理解第 8 题注意力计算的计算复杂度是多少？ 考察对注意力机制计算复杂度的掌握及其扩展性边界第 9 题请分析Self-Attention的时间复杂度，并与RNN进行对比。 考察时间复杂度分析与模型特性比较能力第 10 题为什么KV Cache对长上下文推理尤其关键？ 考察对长上下文推理复杂度与缓存依赖的理解第 11 题在Transformer中，如何降低注意力机制的计算复杂度？ 考察对注意力机制复杂度问题的理解及优化方案第 12 题在 Transformer 模型推理的 Attention 计算中，有哪些显存优化策略？请分别说明其思路和适用场景。 考察对大模型推理显存优化技术的理解深度与工程实践认知第 13 题如何为多头注意力模块添加正则化或增强策略以提升训练稳定性？ 考察模型训练的工程优化与设计能力第 14 题训练或推理 Transformer 模型时有哪些常用加速方式？ 考察对模型计算优化方法的广度与原理理解第 15 题为什么当前主流大型语言模型普遍采用Decoder-only架构？ 考察对LLM架构选型背后工程与理论权衡的理解第 16 题请解释KV Cache在Transformer推理中的原理及其作用。 考察对Transformer推理优化中KV Cache机制的理解