电商行业面试题 · 问题拆解 · Transformer
电商行业相关面试题，按题目行业基础数据聚合。
共 10617 道真题 · 当前筛选命中 19 道 · 更新 2026-08-05
筛选题目已选：问题拆解 · Transformer
考察点
技术栈
第 1 题当前主流大语言模型通常采用什么整体架构？请简要说明其主要组成和关键特性。 考察对主流大模型架构（Transformer）的整体认知第 2 题请介绍Transformer模型中的注意力掩码类型及其计算流程，特别说明padding mask和causal mask的区别。 考察对Transformer注意力机制中掩码原理和整体计算逻辑的理解第 3 题请概述自注意力机制从原始设计到现代优化的主要发展路线。 考察对Transformer核心机制演进脉络的理解与归纳能力第 4 题请分析Transformer架构的核心优势与局限性，并说明你关注过的其他序列建模架构及其与Transformer的对比。 考察对Transformer及替代架构的理解深度和比较分析能力第 5 题为什么注意力机制要除以根号 d_k？如果不缩放会怎样？ 考察对注意力分数缩放动机与数值稳定性的理解第 6 题请介绍Transformer中常见的几种位置编码方式，并说明各自的优缺点。 考察对Transformer位置编码原理及演进的理解第 7 题Transformer的时间复杂度是多少？请说明其来源及典型的优化手段。 考察对Transformer复杂度来源的理解及优化方案的掌握第 8 题请推导多头注意力中矩阵计算的维度变化，并说明其与单头注意力的计算量关系。 考察对注意力机制矩阵运算维度的精确推导能力第 9 题多头注意力机制为什么要使用多个头？ 考察对多头注意力机制设计动机和原理的理解第 10 题Transformer为什么需要位置编码？ 考察对Transformer架构原理及序列位置信息处理的理解第 11 题你如何理解大模型具备强大语义理解能力的原因？ 考察对大模型技术原理的底层理解与表达能力第 12 题在 ResNet 或 Transformer 中，残差连接的作用是什么？请展开说明。 考察对残差连接原理、作用及在典型架构中应用的理解深度第 13 题请实现多头自注意力机制。 考察对Transformer核心组件的理解与编码实现能力第 14 题请设计一个基于Transformer的自回归模型，用前三个token（记作abc）预测第四个token。请写出伪代码，并说明特征维度、注意力头数等关键超参数如何选择。 考察Transformer自回归建模、伪代码表达能力与超参数设计第 15 题多模态大模型中的ViT，解释其原理以及它是如何训练的？ 考察对Vision Transformer（ViT）架构原理及其训练流程的理解第 16 题请解释 Transformer 中 Attention 机制的作用。 考察对注意力机制核心思想与计算流程的理解第 17 题在Transformer的多头注意力中，为什么点积结果要除以sqrt(dk)？ 考察对注意力缩放原理的理解第 18 题请解释自回归语言模型如何生成下一个字。 考察对自回归生成过程的理解第 19 题请解释Attention机制的计算公式，并分析其时间复杂度。 考察对Transformer核心注意力机制公式的理解及计算复杂度分析能力