人工智能面试题 · 编码实现 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 54 道 · 更新 2026-08-05
筛选题目已选：编码实现 · Transformer
考察点
技术栈
第 21 题自注意力机制是什么，以及它是如何实现的？ 考察对Transformer核心机制的理解及其实现细节第 22 题请设计一个基于Transformer的自回归模型，用前三个token（记作abc）预测第四个token。请写出伪代码，并说明特征维度、注意力头数等关键超参数如何选择。 考察Transformer自回归建模、伪代码表达能力与超参数设计第 23 题用BERT做分类时，softmax应该添加在哪个层级，维度如何选择？ 考察BERT分类头的实现细节与输出维度设计第 24 题假设让你用 BERT 或 Transformer 搭建一个文本分类模型，你会如何快速完成？请描述从准备到训练的关键步骤。 考察对预训练模型微调的流程熟悉度及工程实践能力第 25 题请手动实现多头注意力机制（MHA）的核心代码。 考察对Transformer多头注意力机制的深入理解与编码实现能力第 26 题手写实现Transformer编码器中的多头注意力机制（MHA），并简要说明各步骤。 考察对Transformer编码器与多头注意力机制的理解及代码实现能力第 27 题请描述一个 prompt 从输入到输出完整经过 Transformer 的处理流程。 考察对 Transformer 架构从输入嵌入到输出生成的端到端理解第 28 题请手写一个Transformer模型的核心代码，并解释关键组件的作用。 考察对Transformer架构的理解与编码实现能力第 29 题请实现多头注意力机制的核心代码，并解释其结构。 考察多头注意力的实现细节与理解第 30 题请手写并讲解 Transformer Encoder 的核心实现，包括多头注意力、前馈网络、残差连接与层归一化。 考察对 Transformer Encoder 结构、注意力计算细节及实现的掌握程度第 31 题请分析 Transformer 模型的计算复杂度，并给出其核心机制（如自注意力）的伪代码。 考察对 Transformer 架构计算复杂度的理解和伪代码表达能力第 32 题请实现 Self-Attention 并说明各张量的维度变化。 考察对 Transformer Self-Attention 原理的掌握及代码实现中的维度处理能力第 33 题解码器的输出形状是什么，如何做自回归过程？ 考察对自回归生成流程和存储结构的理解第 34 题手写自注意力机制，并说明Q、K、V的线性变换矩阵能否共享权重？ 考察自注意力机制的编码实现与对QKV投影空间的理解第 35 题请手写正余弦位置编码的公式，并简要说明其设计思路。 考察对Transformer位置编码原理的掌握与推导能力第 36 题请编写一个多头注意力机制的代码实现。 考察对注意力机制原理的理解及编程实现能力第 37 题请实现一个多头自注意力机制（Multi-Head Self-Attention）。 考察对Transformer核心组件的理解及编码实现能力第 38 题Transformer更新哪些参数？ 考察对Transformer模型可训练参数构成及梯度更新过程的理解第 39 题Transformer 是怎么把文本转成 token 并用于模型输入的？请描述完整的处理流程。 考察文本分词、词典映射和输入构造的完整流程第 40 题Transformer和LLaMA的Layer Normalization有什么区别？请手写RMSNorm。 考察对模型架构中归一化机制的理解及编码实现能力