字节跳动面试题 · Transformer
字节跳动相关面试题，按最终去重题目聚合。
共 3252 道真题 · 当前筛选命中 76 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 61 题CLIP 中文本编码器的结构是什么样的，输入输出是什么？ 考察对 CLIP 模型架构细节的理解以及多模态模型中文本分支的处理方式第 62 题详细描述，如果给一个txt存储的文本，从预处理到SFT的训练流程，要包括对数据的预处理、tokenize、forward、loss计算、参数更新，越细越好。 考察大模型SFT全流程的技术细节与工程实现能力第 63 题Transformer 模型由哪些主要组件构成？请说明各部分的作用。 考察对 Transformer 架构整体结构与核心组件的理解程度第 64 题为什么当前主流大型语言模型普遍采用Decoder-only架构？ 考察对LLM架构选型背后工程与理论权衡的理解第 65 题请解释Transformer中的位置编码的作用和实现方式。 考察对Transformer位置编码原理的理解及其在序列建模中的必要性第 66 题Transformer的forward计算包含哪些部件？ 考察对Transformer前向计算组件的整体理解第 67 题请解释Transformer的整体结构及其核心组成部分。 考察对Transformer架构的整体理解与关键模块的作用第 68 题Transformer 中因果注意力和双向注意力的区别是什么？ 考察对 Transformer 注意力机制在不同任务中应用差异的理解第 69 题请介绍一下Transformer架构及其核心组成。 考察对Transformer架构核心机制的理解程度第 70 题介绍Transformer架构 考察对Transformer核心组件、设计动机和整体工作原理的理解第 71 题请介绍 Transformer 模型的核心结构，并说明自注意力机制的作用及其计算过程。 考察对 Transformer 架构和自注意力机制的理解深度第 72 题为什么缩放点积注意力中要除以根号下d_k（键的维度）？ 考察对缩放因子作用的数学理解第 73 题请手写Transformer的核心结构，并解释各模块的作用。 考察对Transformer架构细节的理解和编码实现能力第 74 题为什么Attention公式中要除以√dk?这个操作有什么作用? 考察对Transformer中缩放点积注意力原理的理解第 75 题Transformer的位置编码中为什么将基底设为10000？ 考察对Transformer位置编码设计原理和参数选择的理解第 76 题Transformer中Attention的计算公式是什么？ 考察注意力机制的基础计算流程