请介绍大模型推理和训练中常用的显存优化手段，可以从模型、架构和工程层面分别展开。

Question

Accepted Answer

考察点：考察对大模型显存瓶颈的理解及多层面优化策略。回答思路：能区分模型、架构、工程三个层面的优化思路 能举例说明梯度检查点、混合精度、量化等具体手段 能说明各手段对显存与计算速度的权衡

考察说明