互联网/IT行业面试题 · tech:pytorch
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 71 道 · 更新 2026-08-05
筛选题目已选：tech:pytorch
考察点
技术栈
第 41 题LN和BN的区别 考察对BatchNorm与LayerNorm原理、适用场景及差异的理解第 42 题详细描述，如果给一个txt存储的文本，从预处理到SFT的训练流程，要包括对数据的预处理、tokenize、forward、loss计算、参数更新，越细越好。 考察大模型SFT全流程的技术细节与工程实现能力第 43 题DeepSpeed的ZeRO优化器在不同阶段（Stage 1、2、3）分别能节省哪些显存？各阶段的主要区别是什么？ 考察对分布式训练显存优化原理的理解第 44 题如果给你一张32B参数量、未量化的模型，你觉得跑起来大概需要多少显存？ 考察对模型显存占用的估算能力和对推理过程的系统理解第 45 题如何使用 PyTorch 实现 Grouped Query Attention（GQA）？ 考察对多头注意力机制的变体理解及 PyTorch 编码实现能力第 46 题请手写实现多头注意力的核心计算过程。 考察对自注意力机制、多头拆分与拼接的编码实现能力第 47 题手写实现 Self-Attention 的核心计算过程 考察对自注意力机制数学原理与实现的掌握第 48 题请介绍你对 DeepSpeed 的理解，包括其核心功能和典型应用场景。 考察对分布式训练优化框架的了解程度第 49 题介绍FSDP（Fully Sharded Data Parallel）的原理与使用场景。 考察对分布式训练中模型并行策略的理解与实际应用能力第 50 题Transformer和LLaMA的Layer Normalization有什么区别？请手写RMSNorm。 考察对模型架构中归一化机制的理解及编码实现能力第 51 题请手写实现一个Casual Self-Attention模块，说明其输入输出维度与计算流程。 考察注意力机制的实现细节与因果掩码处理能力第 52 题请介绍常见的量化方法、原理及适用场景，并分析它们在计算复杂度和精度损失上的差异。 考察对量化方法原理、适用场景及复杂度与精度权衡的理解第 53 题你了解哪些大模型训练和推理优化的方法？ 考察对模型训练与推理阶段常见优化手段的理解广度与深度第 54 题请介绍你了解的深度学习优化器，包括它们的工作原理、适用场景和优缺点。 考察对优化算法原理的理解、对比分析能力和实际选型意识第 55 题怎么阻止某些参数梯度回传？ 考察对深度学习梯度流控制机制的理解第 56 题请手写实现一个简单的LoRA（低秩适配）模块，并说明其核心设计。 考察LoRA实现细节与参数高效微调原理第 57 题请估算一个7B参数的大语言模型在推理时的显存占用，并说明估算思路。 考察对大模型参数量与显存关系、推理时内存构成的理解能力第 58 题请谈谈PyTorch 考察对PyTorch基础概念、设计特点和应用场景的理解第 59 题请实现一个多头自注意力机制（Multi-Head Self-Attention）。 考察对Transformer核心组件的理解及编码实现能力第 60 题DataLoader和Dataset的区别是什么？ 考察PyTorch数据加载流程中Dataset与DataLoader的分工与协作机制