人工智能面试题 · PyTorch
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 204 道 · 更新 2026-08-05
筛选题目已选：PyTorch
考察点
技术栈
第 61 题训练一个 7B 参数规模的模型大约需要多少显存？不同 DeepSpeed ZeRO 阶段分别能节省多少显存？ 考察对大模型训练显存开销构成及 ZeRO 优化策略的理解第 62 题请介绍几种常用的模型剪枝方法，并说明各自的原理和适用场景。 考察对模型剪枝技术的理解深度、方法对比与适用性判断第 63 题请解释ViT（Vision Transformer）的基本原理和关键组成部分。 考察对ViT架构和其核心机制的理解第 64 题请解释反向传播（Backpropagation）算法的基本原理与实现要点。 考察对反向传播算法核心概念及其在PyTorch中实现的理解第 65 题请实现并解释SE-Net的关键模块 考察对SE-Net核心模块的编码实现与原理理解第 66 题FFN（前馈神经网络）有什么不同，请写出ReLU和SwiGLU的实现。 考察对不同FFN变体的理解及动手实现能力第 67 题请比较TensorFlow和PyTorch在模型开发、调试和部署方面的主要差异。 考察深度学习框架选型与实际使用经验第 68 题请手写实现一个Casual Self-Attention模块，说明其输入输出维度与计算流程。 考察注意力机制的实现细节与因果掩码处理能力第 69 题请手动实现多头注意力机制（MHA）的核心代码。 考察对Transformer多头注意力机制的深入理解与编码实现能力第 70 题对于一个约 7B 参数的模型，如果使用 AdamW 优化器进行训练，大致需要多少显存？ 考察对训练显存构成（参数、梯度、优化器状态）的整体估算能力第 71 题显存不够时，一般怎么解决，有哪些常见的优化方法？ 考察对深度学习训练显存优化的常见策略和工程实践能力第 72 题请手写实现Attention机制的代码，并解释其计算过程。 考察对Attention机制的理解以及代码实现能力第 73 题请介绍RLHF的整体流程，并说明PPO与DPO的核心思想，写出两者的Loss表达式。 考察强化学习与人类反馈对齐算法的原理理解和公式掌握第 74 题你了解哪些大模型训练和推理优化的方法？ 考察对模型训练与推理阶段常见优化手段的理解广度与深度第 75 题请你手写实现分组注意力机制（Grouped Attention），说明其与多头注意力的区别。 考察分组注意力的实现理解、维度计算及与标准多头注意力的对比第 76 题大模型训练有哪几种并行方式，各自解决什么问题？ 考察对分布式训练并行策略的整体认知第 77 题请介绍模型量化算法的基本原理、常见的量化方法（如 PTQ 和 QAT）以及改进方向。 考察对模型量化核心概念、PTQ 与 QAT 差异及演进方向的系统性理解第 78 题请介绍你对 DeepSpeed 的理解，包括其核心功能和典型应用场景。 考察对分布式训练优化框架的了解程度第 79 题DeepSpeed的ZeRO优化器在不同阶段（Stage 1、2、3）分别能节省哪些显存？各阶段的主要区别是什么？ 考察对分布式训练显存优化原理的理解第 80 题请手写实现一个多门控专家混合（MMoE）模型的核心结构。 考察对多任务学习模型MMoE的理解与编码实现能力