字节跳动面试题 · 方案权衡 · Transformer
字节跳动相关面试题，按最终去重题目聚合。
共 3252 道真题 · 当前筛选命中 22 道 · 更新 2026-08-05
筛选题目已选：方案权衡 · Transformer
考察点
技术栈
第 1 题请介绍除 DIN 之外的序列建模方法，并对比 Transformer 与 DIN 在推荐场景中的区别。 考察序列建模技术积累与推荐场景下的模型选型能力第 2 题在Transformer框架下，CV、NLP、语音是否可能统一？ 考察对Transformer跨模态统一潜力的理解和分析能力第 3 题为什么现在 Decoder-only 成为大模型的主流架构？ 考察对 Transformer 架构变体演进及大模型训练/推理权衡的理解第 4 题请分析Self-Attention的时间复杂度，并与RNN进行对比。 考察时间复杂度分析与模型特性比较能力第 5 题DIN 和 Transformer 的 attention 有什么不同？ 考察对两种 attention 机制的设计动机、计算方式和应用场景差异的理解第 6 题在Transformer编码器内部，如果仅考虑自注意力操作，将K去掉改成QQV，具体会导致哪些计算或效果上的问题？ 考察对注意力计算细节和技术后果的具体分析能力第 7 题Transformer的FFN层为什么会逐渐演变成MOE层？ 考察对Transformer中FFN与稀疏专家路由演进逻辑的理解第 8 题主流LLM模型结构设计有什么特点？ 考察对现代大语言模型架构设计的理解与归纳能力第 9 题请讲解 RoPE（旋转位置编码）的原理，并比较其他常用的位置编码方式，最后说明 RoPE 的主要优点。 考察对位置编码技术原理的理解、对比分析能力及应用洞察第 10 题请讲解MHA、MQA、GQA和MLA的原理与区别，并说明各自的适用场景。 考察对注意力机制变体的理解深度及工程选型考量第 11 题Transformer是encoder-decoder架构，而GPT是decoder-only架构，为什么会演变成这样一种形式？为什么把encoder给舍弃掉了？ 考察对语言模型架构演进逻辑和decoder-only优势的理解第 12 题请阐述Transformer的原理以及和其他注意力机制的区别 考察对Transformer架构核心机制及其演进脉络的理解程度第 13 题请解释 Transformer 的核心原理，并说明它为什么能取代 RNN 成为主流模型。 考察对 Transformer 架构的深入理解及技术演进认知第 14 题相比之下，Decoder-only相比Encoder-Decoder架构有哪些具体优势？ 考察对两类架构差异的深入辨析能力第 15 题当 Transformer 网络层数过深导致训练不稳定时，你会如何处理？ 考察对深层 Transformer 训练稳定性问题的理解与解决手段第 16 题Transformer架构为什么要切分为多头？ 考察对多头注意力机制设计动机与效果的理解第 17 题请比较正余弦位置编码（如Transformer原始实现）与RoPE（旋转位置编码）的异同，并说明RoPE相对于正余弦编码的优势。 考察对位置编码原理及其演进的理解，特别是RoPE的设计动机与优势第 18 题Transformer位置编码为什么选择基于正弦和余弦函数的sincos编码？ 考察对sincos位置编码设计原理的理解，包括相对位置和学习特性第 19 题如何降低 Transformer 的计算复杂度？请列举主要方法。 考察对 Transformer 注意力机制瓶颈的认知及常用优化手段第 20 题为什么当前主流大型语言模型普遍采用Decoder-only架构？ 考察对LLM架构选型背后工程与理论权衡的理解