在分布式训练场景下，有哪些降低显存占用的常用方法？

Question

Accepted Answer

考察点：考察对分布式训练中显存优化手段的理解与应用能力。回答思路：能列举多种显存优化方法并说明原理 能根据模型和硬件条件选择合适策略 能解释梯度累积、混合精度、分片等机制 能考虑通信开销与显存节省的权衡

考察说明