互联网/IT行业面试题 · 技术选型 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 56 道 · 更新 2026-08-05
筛选题目已选：技术选型 · Transformer
考察点
技术栈
第 21 题目前大模型架构有哪些？ 考察对大模型主流架构类型的掌握与分类能力第 22 题请解释Transformer中的自注意力机制是如何计算的，以及它的作用是什么？ 考察对自注意力机制原理及作用的理解第 23 题dk是怎么确定的？ 考察对模型维度与注意力头配置关系的理解第 24 题介绍Transformer架构 考察对Transformer核心组件、设计动机和整体工作原理的理解第 25 题Linear Attention和Sparse Attention在实际模型中通常如何应用？ 考察对高效注意力机制的理解及实际应用场景第 26 题请解释 Transformer 中位置编码（Positional Encoding）和 Layer Normalization 的作用及实现方式。 考察对 Transformer 核心组件原理与实现细节的理解第 27 题当输入的文本长度超出模型的上下文窗口时，目前有哪些主流的处理方案或模型架构来应对？ 考察对超长文本处理技术的掌握程度和方案选型能力第 28 题请列举几个基于 Transformer 的经典语言模型，并说明 Qwen 相比原始 Transformer 在结构上做了哪些主要改动？ 考察对 Transformer 架构演进和主流模型结构差异的理解第 29 题请介绍你了解的生成式模型，并重点介绍 GLM 系列模型的整体结构。 考察对生成式模型的基本认知及对 GLM 模型结构的理解第 30 题Transformer和RNN在对话任务中的本质区别？为什么现在大模型都用Transformer？ 考察对序列建模核心机制的理解及架构选型原因第 31 题请介绍几种常见的稀疏注意力变体，并说明其核心思想与适用场景。 考察对主流稀疏注意力机制的系统性了解与选型判断第 32 题请介绍大模型主流模型结构的主要演进变化 考察对大模型架构演进、关键技术变革的理解第 33 题请介绍 Transformer 模型的核心结构与工作原理，并说明其关键机制。 考察对 Transformer 架构、自注意力机制及其在序列建模中优势的理解第 34 题主流LLM模型结构设计有什么特点？ 考察对现代大语言模型架构设计的理解与归纳能力第 35 题Encoder-Decoder、Decoder-Only 哪种方式更好？ 考察对两类模型架构的适用场景和技术权衡的理解第 36 题请介绍Qwen系列模型的结构和特点。 考察对Qwen系列模型架构、设计理念和关键特性的了解第 37 题请简述BERT的架构、输入表示、训练流程和位置编码方式。 考察对BERT模型核心组件的理解与系统性表达第 38 题请解释一下 BERT 的模型结构和原理。 考察对 BERT 架构、预训练任务和关键机制的理解深度第 39 题请分别介绍YOLO和Transformer的网络结构，并说明它们各自的适用场景。 考察对YOLO和Transformer基础结构的理解及场景应用能力第 40 题Position Embedding 有哪些常见类型？ 考察对位置编码技术演进和原理的理解