人工智能面试题 · 系统设计 · DeepSpeed
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 10 道 · 更新 2026-08-05
筛选题目已选：系统设计 · DeepSpeed
考察点
技术栈
第 1 题使用 DeepSpeed 的 ZeRO-1、ZeRO-2、ZeRO-3 三种优化阶段，全量微调一个 7B 参数模型时，分别大约需要多少 GPU 显存？ 考察对 DeepSpeed 显存优化机制和模型显存估算的理解第 2 题DeepSpeed如何将模型和优化器切分到多卡上，有哪些并行方式？ 考察对DeepSpeed ZeRO和常见并行策略的理解第 3 题请介绍 DeepSpeed 中 ZeRO Stage-2 在前向和反向传播中的计算与通信逻辑。 考察对 ZeRO 分片策略在模型并行训练中具体执行流程的理解第 4 题DeepSpeed ZeRO-1/2/3之间有什么区别？请说明各阶段对显存占用的影响。 考察对分布式训练优化技术ZeRO分阶段原理及显存收益的理解第 5 题如果单卡放不下模型如何做模型并行？ 考察对大模型训练和推理中并行策略的理解与选择第 6 题大模型训练有哪几种并行方式，各自解决什么问题？ 考察对分布式训练并行策略的整体认知第 7 题请说明DeepSpeed ZeRO Stage 1、2、3之间的区别，以及在何种场景下更适合使用PyTorch FSDP。 考察对分布式训练显存优化技术的理解与选型能力第 8 题你了解哪些大模型加速框架？请简要说明其原理以及如何进行加速优化。 考察对大模型加速框架的熟悉程度、原理理解和优化方法掌握第 9 题你了解 DeepSpeed 的 CPU offload 机制吗？ 考察对模型训练中异构显存优化技术的理解第 10 题请解释ZeRO（零冗余优化器）的原理及其相对于传统数据并行的优势。 考察对大规模深度学习分布式训练中显存优化机制的理解