互联网/IT行业面试题 · 方案权衡 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 94 道 · 更新 2026-08-05
筛选题目已选：方案权衡 · Transformer
考察点
技术栈
第 1 题针对 Transformer 模型推理过程，您会采用哪些优化手段（如 KV Cache、算子融合等）？请说明原理及收益。 考察对 Transformer 推理加速技术的原理理解与工程实践能力第 2 题Transformer、CNN、LSTM的区别 考察对三种主流神经网络结构原理、适用场景和优缺点的理解第 3 题为什么Tiger模型采用encoder-decoder架构而不是decoder-only架构？ 考察对Transformer架构设计权衡和模型选型的理解第 4 题请解释DETR（Detection Transformer）的核心原理及其与两阶段检测器（如Faster R-CNN）的主要区别。 考察对Transformer目标检测模型基本结构、端到端训练思想及与传统检测器差异的理解第 5 题为什么BERT时代没有出现scaling law？ 考察对规模法则前提、历史背景和架构差异的理解第 6 题DIN 和 Transformer 的 attention 有什么不同？ 考察对两种 attention 机制的设计动机、计算方式和应用场景差异的理解第 7 题Pre Norm 与 Post Norm 的区别是什么？ 考察对 Transformer 归一化位置及其对训练稳定性和性能影响的理解第 8 题请说明 BERT 的模型结构，并对比它与传统文本编码器（如 RNN、LSTM）的优势。 考察对 BERT 架构原理的理解及与传统编码器的对比分析能力第 9 题请解释Transformer中的自注意力机制，并介绍一种常见的注意力变体及其设计动机。 考察对自注意力机制的理解及对注意力变体的掌握第 10 题Transformer中Pre-Norm和Post-Norm的设计差异是什么？对模型训练稳定性和性能有何影响？ 考察对Transformer归一化层位置差异及其对训练稳定性和性能影响的理解第 11 题Transformer和传统seq2seq模型有什么区别? 考察对序列建模架构演进的理解及两者核心机制差异第 12 题在Transformer编码器内部，如果仅考虑自注意力操作，将K去掉改成QQV，具体会导致哪些计算或效果上的问题？ 考察对注意力计算细节和技术后果的具体分析能力第 13 题为什么Transformer使用三角函数位置编码，相比于[1,2,3..]这种硬编码的好处在哪？ 考察位置编码设计动机与相对位置信息建模第 14 题RNN和Transformer的区别 考察对两种序列建模架构的核心差异及其适用场景的理解第 15 题在多头注意力中，存在哪些常见的变体？如何设计新的变体？ 考察对注意力机制变体的了解与设计思考第 16 题如何构建长序列模型来处理超长输入？ 考察对长序列建模的架构设计与性能权衡第 17 题Transformer和CNN有什么不同？ 考察对两种主流网络架构的机制理解与适用场景辨析第 18 题请比较 Transformer 中 Pre-LayerNorm 与 Post-LayerNorm 的差异及其影响。 考察候选人对 Transformer 归一化结构差异及其训练特性影响的理解第 19 题Transformer 中为什么使用 Layer Normalization（LN）而不是 Batch Normalization（BN）？ 考察对 LN 与 BN 区别及在序列模型中的适用性的理解第 20 题如何降低 Transformer 的计算复杂度？请列举主要方法。 考察对 Transformer 注意力机制瓶颈的认知及常用优化手段