商汤科技面试题 · Transformer
商汤科技相关面试题，按最终去重题目聚合。
共 478 道真题 · 当前筛选命中 23 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 1 题当输入长度超过模型的最大长度限制时，常见处理方案有哪些（如padding、截断）？ 考察对长序列处理策略的掌握与权衡第 2 题请解释从Embedding到Transformer的核心工作原理。 考察对Transformer基础架构和Embedding机制的理解第 3 题请阐述一个你最熟悉的视觉语言（VL）模型，包括其核心架构与典型应用场景。 考察对视觉语言模型架构理解、关键机制掌握及实际应用认知第 4 题请讲解Transformer的总体结构及各组成部分的作用。 考察对Transformer核心架构的理解与表达能力第 5 题图像数据通常如何处理位置编码？ 考察对图像任务中位置信息建模的理解第 6 题Transformer的decoder是怎么防止信息泄露的呢？ 考察对Transformer解码器自注意力掩码机制的理解第 7 题请描述大模型从数据准备到模型部署的完整训练流程，并说明各阶段的关键步骤。 考察对大模型训练全流程的理解与关键环节的把握第 8 题请解释注意力机制中self-attention的计算复杂度，并说明其瓶颈。 考察对Transformer核心机制的计算复杂度理解及性能瓶颈识别第 9 题讲讲UniAD端到端大致是怎样做的 考察对UniAD端到端自动驾驶框架的整体理解与关键组件认知第 10 题请解释深度学习中 Batch Normalization 应用于激活函数之前(pre-Norm)与之后(post-Norm)的区别及各自适用场景。 考察对 Batch Normalization 位置设计差异的理解及实践权衡第 11 题Transformer和CNN有什么不同？ 考察对两种主流网络架构的机制理解与适用场景辨析第 12 题常见的位置编码类型有哪些？ 考察对主流位置编码机制的理解与对比第 13 题Transformer中encoder和decoder的区别 考察对Transformer架构各模块功能定位的掌握第 14 题请介绍 Transformer 的整体结构，并说明其各主要组件的公式与作用。 考察对 Transformer 架构、核心公式和组件功能的理解第 15 题LSTM与Transformer的区别，以及后者的优势是什么？ 考察对序列建模架构演进的原理理解与优势分析能力第 16 题Llama2 的 transformer block 相比原始 transformer 做了哪些关键改变？ 考察对 Llama2 架构中 RMSNorm、RoPE、SwiGLU、PreNorm 等核心组件的理解第 17 题如果我更改了输入数据的量级，比如将输入的数据从长度100改成了1000，增加了10倍，Transformer的时间复杂度是会怎么变，参数量会怎么变？ 考察Transformer模型对输入序列长度的计算复杂度与参数量理解第 18 题为什么现在主流都用Decoder-only而不是Encoder-decoder？ 考察对主流大模型架构选型原因的理解，包括训练效率、推理效率和效果权衡第 19 题请讲解你读过的 Transformer 源码，并结合代码说明其核心模块。 考察对 Transformer 架构的理解深度与代码阅读能力第 20 题请手写Transformer模型的核心代码，并解释为什么注意力机制中要除以根号d。 考察Transformer架构的实现能力与注意力机制缩放因子的数学原理