字节跳动面试题 · 编码实现 · Transformer
字节跳动相关面试题,按最终去重题目聚合。
共 3252 道真题 · 当前筛选命中 6 道 · 更新 2026-08-05
筛选题目已选:编码实现 · Transformer
考察点
技术栈
第 1 题Transformer中带Mask的Attention是如何实现的? 考察掩码机制的原理与实现方式第 2 题手写实现Transformer编码器中的多头注意力机制(MHA),并简要说明各步骤。 考察对Transformer编码器与多头注意力机制的理解及代码实现能力第 3 题请手写正余弦位置编码的公式,并简要说明其设计思路。 考察对Transformer位置编码原理的掌握与推导能力第 4 题Transformer和LLaMA的Layer Normalization有什么区别?请手写RMSNorm。 考察对模型架构中归一化机制的理解及编码实现能力第 5 题详细描述,如果给一个txt存储的文本,从预处理到SFT的训练流程,要包括对数据的预处理、tokenize、forward、loss计算、参数更新,越细越好。 考察大模型SFT全流程的技术细节与工程实现能力第 6 题请手写Transformer的核心结构,并解释各模块的作用。 考察对Transformer架构细节的理解和编码实现能力