互联网/IT行业面试题 · 技术原理 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 344 道 · 更新 2026-08-05
筛选题目已选：技术原理 · Transformer
考察点
技术栈
第 281 题在 Transformer 模型推理的 Attention 计算中，有哪些显存优化策略？请分别说明其思路和适用场景。 考察对大模型推理显存优化技术的理解深度与工程实践认知第 282 题请介绍 Transformer 的核心架构组成，并说明自注意力机制的原理。 考察对 Transformer 架构的理解深度与关键机制掌握第 283 题Transformer中的Q、K、V分别来自哪里？各自代表什么含义？ 考察对Transformer自注意力机制中查询、键、值向量来源与作用的原理理解第 284 题多头注意力机制有哪些常见的改进方向？请举例说明。 考察对注意力机制变体的了解与对比能力第 285 题Transformer的forward计算包含哪些部件？ 考察对Transformer前向计算组件的整体理解第 286 题如何为多头注意力模块添加正则化或增强策略以提升训练稳定性？ 考察模型训练的工程优化与设计能力第 287 题Transformer的FFN层为什么会逐渐演变成MOE层？ 考察对Transformer中FFN与稀疏专家路由演进逻辑的理解第 288 题请谈谈你对大模型底层原理的理解。 考察对大模型核心技术的理解深度与系统性第 289 题相比之下，Decoder-only相比Encoder-Decoder架构有哪些具体优势？ 考察对两类架构差异的深入辨析能力第 290 题为什么Attention公式中要除以√dk?这个操作有什么作用? 考察对Transformer中缩放点积注意力原理的理解第 291 题请分析 Decoder-only 文本模型的结构特点，并说明其参数量主要由哪些部分组成。 考察对 Decoder-only 架构的理解及参数量估算能力第 292 题请解释Transformer中的位置编码的作用和实现方式。 考察对Transformer位置编码原理的理解及其在序列建模中的必要性第 293 题请介绍Transformer模型的核心结构及其各部分的作用。 考察对Transformer架构的基本理解与核心机制掌握第 294 题为什么需要位置编码？一个好的位置编码应具备哪些特性？请介绍主流的位置编码方法及其设计思路。 考察对Transformer位置编码必要性、设计原则及主流方案的掌握第 295 题Transformer的normalization,为什么用LayerNorm不用其他的;介绍RMSNorm 考察对Transformer归一化机制的理解与归一化技术选型的权衡第 296 题请介绍Transformer的整体结构及其各组成部分的作用。 考察对Transformer架构的深入理解与原理掌握第 297 题目前大模型模型结构都有哪些？ 考察对大模型主流网络结构的理解和分类能力第 298 题Transformer位置编码为什么选择基于正弦和余弦函数的sincos编码？ 考察对sincos位置编码设计原理的理解，包括相对位置和学习特性第 299 题Transformer 中编码器和解码器的注意力机制有什么区别？ 考察对 Transformer 多头注意力机制的类型、掩码与更新范围的理解第 300 题Transformer 模型中是如何处理梯度爆炸和梯度消失的？ 考察对Transformer稳定训练机制的理解