互联网/IT行业面试题 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 348 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 21 题我们这个岗位对大模型底层和代码等也有一定要求，谈谈你的认识和理解，知道多少？ 考察对大模型底层原理的认知深度与代码实践能力第 22 题介绍一下 Transformer 的基本原理。 考察对 Transformer 架构核心结构的理解第 23 题为什么BERT时代没有出现scaling law？ 考察对规模法则前提、历史背景和架构差异的理解第 24 题请梳理大模型发展历程，从 Transformer 到 BERT、GPT、LLaMA、Qwen 以及 o1 推理模型的主要演进脉络。 考察对模型架构演进和技术路线变迁的理解第 25 题DIN 和 Transformer 的 attention 有什么不同？ 考察对两种 attention 机制的设计动机、计算方式和应用场景差异的理解第 26 题请你谈谈对大型语言模型（LLM）内部工作机制的理解，并举例说明其关键组成部分。 考察对大模型核心原理的掌握程度与概念准确性第 27 题Pre Norm 与 Post Norm 的区别是什么？ 考察对 Transformer 归一化位置及其对训练稳定性和性能影响的理解第 28 题为什么Transformer的注意力计算要除以根号dk？ 考察对注意力缩放原因的理解及数值稳定性知识第 29 题Transformer 中使用 Softmax 有什么问题？该如何解决？ 考察对注意力机制中 Softmax 数值稳定性与表达能力问题的理解及改进方案第 30 题请手写实现Transformer Decoder层，并说明如何实现mask机制以支持自回归生成。 考察对Transformer Decoder结构、自注意力mask和因果掩码的实现能力第 31 题请手写正余弦位置编码的公式，并简要说明其设计思路。 考察对Transformer位置编码原理的掌握与推导能力第 32 题介绍 Self-Attention 和 Cross-Attention 的区别与联系。 考察对注意力机制两种基本形式的理解及其应用场景第 33 题假设让你用 BERT 或 Transformer 搭建一个文本分类模型，你会如何快速完成？请描述从准备到训练的关键步骤。 考察对预训练模型微调的流程熟悉度及工程实践能力第 34 题Transformer 中 Encoder 与 Decoder 的自注意力机制有何区别？ 考察对 Transformer 注意力机制结构差异及训练阶段行为的理解第 35 题请解释RoPE（旋转位置编码）如何用绝对位置编码实现相对位置感知，并从数学直觉上说明其原理。 考察对旋转位置编码数学原理与设计动机的理解第 36 题请说明 BERT 的模型结构，并对比它与传统文本编码器（如 RNN、LSTM）的优势。 考察对 BERT 架构原理的理解及与传统编码器的对比分析能力第 37 题请实现多头注意力机制的核心代码，并解释其结构。 考察多头注意力的实现细节与理解第 38 题请解释Transformer中的自注意力机制，并介绍一种常见的注意力变体及其设计动机。 考察对自注意力机制的理解及对注意力变体的掌握第 39 题Mask Attention是怎么做的？ 考察对Transformer中Masked Attention机制的理解，包括实现原理和不同应用场景第 40 题你使用的是什么Embedding模型结构？它的输出向量维度是多少？ 考察候选人对Embedding模型结构与向量维度等基础技术细节的理解