字节跳动面试题 · Transformer
字节跳动相关面试题，按最终去重题目聚合。
共 3252 道真题 · 当前筛选命中 76 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 1 题我们这个岗位对大模型底层和代码等也有一定要求，谈谈你的认识和理解，知道多少？ 考察对大模型底层原理的认知深度与代码实践能力第 2 题请介绍你对 Transformer 模型的了解。 考察对 Transformer 架构核心组件和原理的理解深度第 3 题Llama的Decoder结构和位置编码相比原始Transformer有哪些改进？ 考察对Llama模型架构细节及其设计意图的理解第 4 题请介绍除 DIN 之外的序列建模方法，并对比 Transformer 与 DIN 在推荐场景中的区别。 考察序列建模技术积累与推荐场景下的模型选型能力第 5 题计算Attention的softmax之前为什么要除根号dk？ 考察对Transformer中注意力机制缩放因子原理的理解第 6 题注意力计算的计算复杂度是多少？ 考察对注意力机制计算复杂度的掌握及其扩展性边界第 7 题为什么 KV Cache 能极大地提升推理速度？ 考察对计算复杂度和推理性能优化原理的理解第 8 题在Transformer框架下，CV、NLP、语音是否可能统一？ 考察对Transformer跨模态统一潜力的理解和分析能力第 9 题请介绍 Self-Attention 的机制，并分析其时间复杂度。 考察 Transformer 核心机制的理解与复杂度分析能力第 10 题请介绍Transformer模型中的主要计算过程，包括自注意力机制和前馈网络的计算步骤。 考察对Transformer核心计算流程的理解，包括自注意力的矩阵运算、多头机制及前馈网络第 11 题为什么现在 Decoder-only 成为大模型的主流架构？ 考察对 Transformer 架构变体演进及大模型训练/推理权衡的理解第 12 题Transformer中带Mask的Attention是如何实现的？ 考察掩码机制的原理与实现方式第 13 题请分析Self-Attention的时间复杂度，并与RNN进行对比。 考察时间复杂度分析与模型特性比较能力第 14 题为什么要用Multi-Head Attention? 考察对Transformer中多头注意力机制原理与优势的理解第 15 题你了解 Transformer 或 Attention 机制的其他变体或改进吗？ 考察对Attention机制及Transformer架构的深入理解与扩展知识第 16 题Transformer 和 BERT 有什么区别？ 考察对 Transformer 架构与 BERT 预训练模型关系的理解第 17 题什么是 KV Cache？它在 Transformer 推理中扮演什么角色？ 考察对 Transformer 自回归解码中键值缓存机制的理解第 18 题DIN 和 Transformer 的 attention 有什么不同？ 考察对两种 attention 机制的设计动机、计算方式和应用场景差异的理解第 19 题Transformer的encoder和decoder结构有什么区别？ 考察对Transformer核心组件差异的理解第 20 题请描述 Qwen2 的模型架构，包括其主要组件和设计特点。 考察对大语言模型基础架构的理解，特别是 Qwen2 的具体设计