教育/培训行业面试题 · tech:transformer
教育/培训行业相关面试题，按题目行业基础数据聚合。
共 3709 道真题 · 当前筛选命中 18 道 · 更新 2026-08-05
筛选题目已选：tech:transformer
考察点
技术栈
第 1 题你了解哪些大模型？通常用来解决什么问题？可以聊聊 Transformer 的核心内容吗？ 考察对大模型知识广度、应用理解及Transformer原理的掌握第 2 题请比较BERT和GPT在预训练目标上的区别，并说明这种区别对下游任务的影响。 考察对BERT和GPT架构及预训练方式的深入理解第 3 题Pre Norm 与 Post Norm 的区别是什么？ 考察对 Transformer 归一化位置及其对训练稳定性和性能影响的理解第 4 题请说明 Transformer 中自注意力机制的核心原理，以及它与循环神经网络在处理长距离依赖上的差异。 考察对Transformer自注意力机制的理解及与RNN的对比能力第 5 题请描述 Llama 模型的整体架构，并说明其与早期 GPT 架构的主要区别。 考察对主流开源大模型架构的理解与细节掌握第 6 题在Transformer架构中，编码器（Encoder）和自注意力机制分别起到什么作用？ 考察对Transformer核心组件作用的理解，以及模型内部信息处理机制的整体把握第 7 题Transformer自注意力,计算过程,Softmax为什么要进行缩放,不缩放会导致什么? 考察对自注意力机制数学原理和数值稳定性的理解第 8 题请解释自注意力（self-attention）机制的工作原理，并说明其相对于循环神经网络的优势。 考察对 Transformer 核心机制的理解以及与传统序列模型的对比分析能力第 9 题请谈谈你对当前AI大模型技术的了解，包括其基本原理和你能接触到的实际应用。 考察候选人对AI大模型的基础认知及知识深度第 10 题请手写一个Transformer模型的核心代码，并解释关键组件的作用。 考察对Transformer架构的理解与编码实现能力第 11 题请比较BERT和GPT在模型结构与训练目标上的主要区别。 考察对编码器与解码器、双向与自回归生成差异的理解第 12 题请解释Transformer解码器中past_key_value（或KV cache）的作用及其对推理性能的影响。 考察对Transformer自回归解码中KV缓存机制的深入理解第 13 题请简要介绍BERT模型的基本原理和主要结构。 考察对预训练语言模型核心概念的理解第 14 题GPT 模型在推理时，每一层的输入和输出分别是什么？ 考察对 Transformer 解码器逐层前向传播中隐藏状态流动的理解第 15 题请解释Transformer模型的核心组成部分及其各自的作用。 考察对Transformer架构的理解深度和关键机制掌握第 16 题在Transformer的多头注意力机制中，缩放点积注意力为何要将点积结果除以sqrt(d_k)？ 考察对注意力机制数值稳定性与概率分布的理解第 17 题请说明 T5 模型与 BERT 在架构和预训练目标上的主要区别，并解释为什么在项目中可能选择 T5。 考察对两种主流预训练模型的架构设计与预训练任务差异的理解，以及结合项目背景进行技术选型的能力第 18 题请谈谈你对大模型底层原理的了解，包括Transformer架构和注意力机制。 考察对大模型核心技术原理的理解深度