人工智能面试题 · 性能优化 · DeepSpeed
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 15 道 · 更新 2026-08-05
筛选题目已选：性能优化 · DeepSpeed
考察点
技术栈
第 1 题请说明 DeepSpeed 的 ZeRO-1、ZeRO-2 和 ZeRO-3 分别优化了什么？ 考察对 ZeRO 各阶段内存优化策略的理解与区分第 2 题在多机多卡训练中你会使用 DeepSpeed 吗？请谈谈你对 DeepSpeed 的了解。 考察对大模型分布式训练框架的原理理解和实际应用能力第 3 题使用DeepSpeed ZeRO-3微调Qwen2-72B时，每张GPU卡占用显存大约多少？请给出估算思路和关键决定因素。 考察大模型微调显存估算能力和对ZeRO-3机制的理解第 4 题显存不够时，一般怎么解决，有哪些常见的优化方法？ 考察对深度学习训练显存优化的常见策略和工程实践能力第 5 题为什么 DeepSpeed ZeRO-3 不适合直接用于模型训练？ 考察对 ZeRO-3 机制、训练特性与显存/通信开销的理解第 6 题如何估算大模型微调时的显存需求？请结合 DeepSpeed 的典型配置举例说明。 考察对大模型训练/微调显存构成的理解及工程估算能力第 7 题DeepSpeed里面流水线并行是怎么优化复杂度的？ 考察对流水线并行调度策略与显存优化的理解第 8 题DeepSpeed 用过吗？分布式训练中如何提升效率？ 考察分布式训练框架理解与效率优化方法第 9 题你了解 DeepSpeed 的 CPU offload 机制吗？ 考察对模型训练中异构显存优化技术的理解第 10 题介绍下DeepSpeed 考察对DeepSpeed核心机制、应用场景与性能优化原理的理解第 11 题如果不用LoRA，直接全参数微调一个7B模型，需要多少显存？ 考察混合精度下全参数微调的显存估算能力第 12 题Agentic长文本训练时候容易OOM,你有什么好的优化吗? 考察大模型长文本训练的内存优化策略与工程实践第 13 题SFT（监督微调）怎么做？有没有用什么加速训练的方法？ 考察对大模型监督微调流程和训练加速技术的掌握第 14 题你了解 DeepSpeed 中ZeRO 分阶段的区别吗？ 考察对 DeepSpeed ZeRO 优化机制和显存优化原理的理解第 15 题模型训练过程中显存占用如何优化？DeepSpeed的原理是什么？ 考察模型训练显存优化和分布式训练框架原理