互联网/IT行业面试题 · 编码实现 · PyTorch
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 33 道 · 更新 2026-08-05
筛选题目已选：编码实现 · PyTorch
考察点
技术栈
第 21 题详细描述，如果给一个txt存储的文本，从预处理到SFT的训练流程，要包括对数据的预处理、tokenize、forward、loss计算、参数更新，越细越好。 考察大模型SFT全流程的技术细节与工程实现能力第 22 题如何使用 PyTorch 实现 Grouped Query Attention（GQA）？ 考察对多头注意力机制的变体理解及 PyTorch 编码实现能力第 23 题请手写实现多头注意力的核心计算过程。 考察对自注意力机制、多头拆分与拼接的编码实现能力第 24 题手写实现 Self-Attention 的核心计算过程 考察对自注意力机制数学原理与实现的掌握第 25 题Transformer和LLaMA的Layer Normalization有什么区别？请手写RMSNorm。 考察对模型架构中归一化机制的理解及编码实现能力第 26 题请手写实现一个Casual Self-Attention模块，说明其输入输出维度与计算流程。 考察注意力机制的实现细节与因果掩码处理能力第 27 题请手写实现一个简单的LoRA（低秩适配）模块，并说明其核心设计。 考察LoRA实现细节与参数高效微调原理第 28 题请实现一个多头自注意力机制（Multi-Head Self-Attention）。 考察对Transformer核心组件的理解及编码实现能力第 29 题以大模型预测 token 为例，请讲清楚 Beam Search 的搜索树如何构建，以及如何得到最终解码结果（可用 PyTorch 做简单说明）。 考察对 Beam Search 原理、束宽管理与终止条件的理解第 30 题请基于RankMixer架构，实现mixup数据增强和AFFN前馈网络的核心逻辑，并说明它们在模型中的作用。 考察对RankMixer架构中mixup与AFFN的实现理解和设计意图第 31 题请写出 InfoNCE 损失函数的数学表达式，并解释其含义。 考察对对比学习核心损失函数的理解与表达能力第 32 题用PyTorch或TensorFlow实现一个多层感知机（MLP）模型。 考察对MLP基本结构、前向传播、损失计算和训练流程的掌握程度第 33 题请介绍你在项目中使用PyTorch或TensorFlow进行API调用的具体场景和做法。 考察深度学习框架的实践经验和API使用能力