模型训练过程中显存占用如何优化？DeepSpeed的原理是什么？

Question

Accepted Answer

考察点：考察模型训练显存优化和分布式训练框架原理。回答思路：能说明显存占用来源和常见优化手段 对DeepSpeed的ZeRO阶段、梯度分片有基本理解 能结合实际训练场景说明选择依据 能分析优化带来的算力或通信开销

考察说明