人工智能面试题 · PyTorch
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 204 道 · 更新 2026-08-05
筛选题目已选：PyTorch
考察点
技术栈
第 141 题请手写实现Transformer Decoder层，并说明如何实现mask机制以支持自回归生成。 考察对Transformer Decoder结构、自注意力mask和因果掩码的实现能力第 142 题如果不用LoRA，直接全参数微调一个7B模型，需要多少显存？ 考察混合精度下全参数微调的显存估算能力第 143 题请介绍常见的量化方法、原理及适用场景，并分析它们在计算复杂度和精度损失上的差异。 考察对量化方法原理、适用场景及复杂度与精度权衡的理解第 144 题如何使用 PyTorch 实现 Grouped Query Attention（GQA）？ 考察对多头注意力机制的变体理解及 PyTorch 编码实现能力第 145 题Agentic长文本训练时候容易OOM,你有什么好的优化吗? 考察大模型长文本训练的内存优化策略与工程实践第 146 题对一个7B参数的模型进行参数高效微调，大致需要多少GPU显存，通常需要保存哪些参数和状态？ 考察大模型微调的显存开销构成与参数保存范围的估算能力第 147 题请解释PyTorch中model.eval()与torch.no_grad()各自的作用及适用场景，二者能否相互替代？ 考察对PyTorch训练与推理模式切换及梯度控制机制的理解第 148 题请说明模型训练的显存占用与哪些因素有关，并介绍常用的显存优化手段。 考察对大模型训练显存构成和优化策略的理解第 149 题请介绍你如何使用 OpenMMLab 完成项目，并说明其核心实现机制。 考察对开源算法库的使用经验及底层原理理解第 150 题请说明车端算法效果的测评方法、所用工具及评估流程。 考察算法评测体系搭建、工具使用与指标解读能力第 151 题请解释梯度检查点（gradient checkpointing）的原理。 考察对显存优化技术原理和实现机制的理解第 152 题手撕 RoPE：对比 llama GitHub 源码中 rope 介绍与你的实现，说明区别和改进点。 考察对旋转位置编码原理与源码理解的一致性及细节掌握第 153 题了解半精度训练吗？展开讲讲原理和优点，在实际应用中有哪些挑战。 考察对半精度训练原理、收益和实际工程挑战的理解第 154 题请用PyTorch定义一个简单的神经网络，例如一个两层全连接网络。 考察PyTorch中网络定义的基本能力和代码实现第 155 题请手写实现一个 cross-attention 层，并说明其与 self-attention 的区别。 考察对注意力机制原理的理解及代码实现能力第 156 题请介绍DeepSpeed中并行训练的关键知识点，包括数据并行、模型并行、流水线并行和ZeRO等。 考察对深度学习分布式并行训练中DeepSpeed框架核心机制的理解第 157 题请手写并讲解一个使用PyTorch实现的模型训练pipeline,包含数据加载、模型定义、训练循环和评估过程。 考察PyTorch训练流程的完整性、正确性和代码组织能力第 158 题请介绍你了解的精排模型及其工作原理 考察推荐或搜索系统中精排模型的技术理解与原理掌握第 159 题请描述PyTorch中训练一个神经网络的完整流程。 考察对PyTorch训练流程的整体理解和关键步骤的掌握第 160 题请解释ZeRO（零冗余优化器）的原理及其相对于传统数据并行的优势。 考察对大规模深度学习分布式训练中显存优化机制的理解