美团面试题 · Transformer
美团相关面试题，按最终去重题目聚合。
共 3614 道真题 · 当前筛选命中 56 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 1 题Qwen2.5-VL 中的 Transformer 结构与普通 Transformer 结构有哪些不同？ 考察对现代 LLM 架构演进及视觉语言模型适配机制的理解第 2 题Transformer中的降维操作通常是如何进行的？请结合具体场景说明。 考察对Transformer中降维技术（如维度压缩、池化、投影）的理解与应用。第 3 题请介绍 Qwen2.5-VL 与普通 Transformer 在结构上的主要差异，并说明这些设计选择的目的。 考察多模态大模型的架构理解及设计权衡分析第 4 题Encoder中的self-attention和Decoder中的self-attention有什么区别？ 考察对Transformer编码器与解码器注意力机制差异的理解第 5 题请具体说明在Transformer中如何实现多头注意力机制（Multi-Head Attention）。 考察对注意力机制实现细节的理解，包括Q/K/V投影、缩放点积和拼接输出第 6 题在 Transformer 模型推理的 Attention 计算中，有哪些显存优化策略？请分别说明其思路和适用场景。 考察对大模型推理显存优化技术的理解深度与工程实践认知第 7 题Transformer 中使用 Softmax 有什么问题？该如何解决？ 考察对注意力机制中 Softmax 数值稳定性与表达能力问题的理解及改进方案第 8 题请解释Transformer的多头注意力机制原理。 考察对自注意力机制和多头结构设计的理解第 9 题Transformer 为什么使用 LayerNorm 而不是 BatchNorm？ 考察对归一化机制在序列建模中适用性的理解第 10 题请介绍对编码模型（如代码生成模型）的了解，包括原理和优缺点。 考察对代码生成模型原理及局限的认知第 11 题请讲讲 Transformer 中的自注意力机制是如何工作的？ 考察对自注意力机制原理、计算流程和关键组成部分的理解第 12 题请手写实现一个 Transformer Encoder 的核心结构。 考察对 Transformer Encoder 的结构理解与代码实现能力第 13 题请介绍Transformer的整体结构，包括其主要模块与各自的作用。 考察对Transformer架构的全面理解与组件职责的掌握第 14 题请介绍Self-Attention机制的原理，以及它在大模型中的作用。 考察对注意力机制核心原理及其对模型能力贡献的理解第 15 题你对大模型的基础原理（如 Transformer、预训练与微调）有哪些了解？ 考察对大模型核心概念的理解深度第 16 题请解释一下 BERT 和 Transformer 是什么，以及它们之间的关系。 考察对预训练语言模型和基础架构的概念理解与区分能力第 17 题Transformer 编码器中的前馈网络（FFN）起什么作用？为什么需要它？ 考察对 Transformer 编码器结构中 FFN 作用与必要性的理解第 18 题你了解哪些 Transformer 的位置编码方式？它们分别有什么特点？ 考察对位置编码常见方案及其设计动机的掌握第 19 题Transformer 中使用 softmax 可能存在哪些问题？应该如何解决？ 考察 Transformer 注意力机制中 softmax 的数值稳定性、梯度与效率问题及解决思路第 20 题代码题：实现 Casual mask 的 MHA，并说明其计算复杂度。 考察注意力机制实现细节、因果掩码原理与复杂度分析