互联网/IT行业面试题 · 技术原理 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 344 道 · 更新 2026-08-05
筛选题目已选：技术原理 · Transformer
考察点
技术栈
第 321 题transformer的 attention 中的 QKV 是一样的吗？ 考察注意力机制中 Q、K、V 的角色和来源第 322 题三角函数位置编码有哪些好处？旋转位置编码相比它有什么优势？ 考察位置编码的设计动机与在长序列、相对位置建模上的差异第 323 题请在白板/代码中实现Transformer的Decoder Block（含Masked Self-Attention与Cross-Attention）。 考察对Transformer Decoder结构、子层顺序及掩码细节的掌握与编码能力第 324 题你了解大模型的基本原理吗？请简要介绍你熟悉的大模型架构和核心概念。 考察对大模型基础知识和核心概念的掌握程度第 325 题Transformer架构为什么要切分为多头？ 考察对多头注意力机制设计动机与效果的理解第 326 题为什么Transformer模型要采用多头注意力机制而不是单头注意力？ 考察对多头注意力机制设计动机与效果的理解第 327 题介绍Attention的计算,Self-Attention和Cross-Attention区别。 考察注意力机制的计算过程与两种注意力变体的理解第 328 题请解释 Encoder、Decoder 和 Decoder-only 架构的区别。 考察对 Transformer 三种主要架构形态及其适用场景的理解第 329 题请对比主流大模型架构（如Transformer、MoE等）的差异，并说明各自适用的业务场景。 考察对大模型架构差异的理解及场景适配能力第 330 题什么是 KV Cache？它在 Transformer 推理中扮演什么角色？ 考察对 Transformer 自回归解码中键值缓存机制的理解第 331 题讲讲MHA、Attention公式，为什么需要除以根号 dk。 考察对Transformer核心组件及缩放点积注意力原理的掌握第 332 题Transformer中Encoder和Decoder的区别和联系，以及如果单独分开使用的话，各自的优缺点是什么？ 考察对Transformer架构的理解、模块职责划分及独立使用的适用场景分析第 333 题请详细说明Transformer中Attention机制的q、k、v分别代表什么，以及它们如何通过计算得到最终输出，其中Softmax起到什么作用？ 考察对注意力机制核心原理、计算流程及Softmax作用的理解第 334 题请解释KV Cache在Transformer推理中的原理及其作用。 考察对Transformer推理优化中KV Cache机制的理解第 335 题请详细讲解Transformer架构的整体工作流程，包括从输入到输出的主要步骤。 考察对Transformer整体流程的清晰理解与关键机制掌握第 336 题请详细解释 Transformer 解码器的结构及其工作原理。 考察对 Transformer 解码器核心机制的理解第 337 题在机器学习和深度学习中，你最熟悉或最常用的算法或模型有哪些？请说明你的熟悉程度和实际应用场景。 考察候选人对机器学习/深度学习算法实际掌握程度和应用能力第 338 题请解释自注意力机制（Self-Attention）的核心原理及其在 Transformer 中的作用。 考察对自注意力机制原理、计算过程及其在 Transformer 中重要性的理解第 339 题请介绍一下Transformer架构及其核心组成。 考察对Transformer架构核心机制的理解程度第 340 题讲讲Transformer的架构 考察对Transformer整体架构及核心组件的理解