字节跳动面试题 · 系统设计 · Transformer
字节跳动相关面试题,按最终去重题目聚合。
共 3252 道真题 · 当前筛选命中 7 道 · 更新 2026-08-05
筛选题目已选:系统设计 · Transformer
考察点
技术栈
第 1 题Llama的Decoder结构和位置编码相比原始Transformer有哪些改进? 考察对Llama模型架构细节及其设计意图的理解第 2 题在Transformer的encoder中,感受野理论上覆盖所有token。你认为感受野越大越好还是越小越好?请说明你的判断依据和潜在权衡。 考察对Transformer全局注意力机制原理、性能与计算开销权衡的理解第 3 题Attention结果为什么最后需要接一个全连接层再进行输出,作用是什么? 考察对Transformer中Attention输出与全连接层作用的理解第 4 题CLIP 中文本编码器的结构是什么样的,输入输出是什么? 考察对 CLIP 模型架构细节的理解以及多模态模型中文本分支的处理方式第 5 题Transformer 模型由哪些主要组件构成?请说明各部分的作用。 考察对 Transformer 架构整体结构与核心组件的理解程度第 6 题请解释Transformer的整体结构及其核心组成部分。 考察对Transformer架构的整体理解与关键模块的作用第 7 题请介绍一下Transformer架构及其核心组成。 考察对Transformer架构核心机制的理解程度