人工智能面试题 · 问题拆解 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 180 道 · 更新 2026-08-05
筛选题目已选：问题拆解 · Transformer
考察点
技术栈
第 21 题BERT中，一个batch的输入需要padding，在attention时如何处理padding位置？ 考察Transformer/BERT中padding mask的实现原理及作用第 22 题请详细说明Transformer模型的核心结构组成及其各组件的作用。 考察对Transformer架构的深入理解与模块间关系的把握第 23 题讲解Transformer的Decoder结构，包括它包含几层Attention，以及Cross Attention在其中的位置和作用。 考察对Transformer Decoder内部结构、Attention层组成及跨注意力机制的理解第 24 题计算Attention的softmax之前为什么要除根号dk？ 考察对Transformer中注意力机制缩放因子原理的理解第 25 题请介绍Fast Transformer的优化原理，并说明它在长序列场景下的优势。 考察对Transformer加速技术原理的理解和应用能力第 26 题请介绍一下 TIGER 模型。 考察对用户行为序列建模模型 TIGER 的理解第 27 题请介绍Transformer模型中的注意力掩码类型及其计算流程，特别说明padding mask和causal mask的区别。 考察对Transformer注意力机制中掩码原理和整体计算逻辑的理解第 28 题请讲讲 Transformer 中的自注意力机制是如何工作的？ 考察对自注意力机制原理、计算流程和关键组成部分的理解第 29 题与原始 Transformer 相比，你在自己的工作中做了哪些改进？请说明动机、具体做法和效果。 考察候选人对 Transformer 的深入理解及实际工程中的改进能力第 30 题大模型是怎么理解人类语言的意图的？ 考察对大规模语言模型意图理解机制的理解深度第 31 题请推导多头注意力中矩阵计算的维度变化，并说明其与单头注意力的计算量关系。 考察对注意力机制矩阵运算维度的精确推导能力第 32 题请解释Transformer中位置编码的公式及其作用。 考察对Transformer位置编码原理及数学公式的理解第 33 题请手写实现一个 Transformer Encoder 的核心结构。 考察对 Transformer Encoder 的结构理解与代码实现能力第 34 题请详细介绍Transformer模型的结构和工作原理。 考察对Transformer模型架构、核心机制及工作原理的理解第 35 题请介绍Transformer的整体结构，包括其主要模块与各自的作用。 考察对Transformer架构的全面理解与组件职责的掌握第 36 题在Transformer的训练和推理过程中，如何处理输入序列中的padding？请说明mask的作用及实现方式。 考察对Transformer中padding处理和注意力掩码机制的理解第 37 题在Transformer的多头注意力中，为什么点积结果要除以sqrt(dk)？ 考察对注意力缩放原理的理解第 38 题请说明KV Cache在推理时占用的内存量级，并计算它相比不缓存键值时降低了多少时间复杂度。 考察对KV Cache内存代价与计算复杂度收益的量化理解第 39 题Transformer的decoder是怎么防止信息泄露的呢？ 考察对Transformer解码器自注意力掩码机制的理解第 40 题Transformer中的Q、K、V分别来自哪里？各自代表什么含义？ 考察对Transformer自注意力机制中查询、键、值向量来源与作用的原理理解