训练一个 8B 参数的大模型，大概需要多少显存？

Question

Accepted Answer

考察点：考察显存估算能力和对训练过程中显存主要来源的理解。回答思路：能分项列举参数、梯度、优化器状态与激活值的显存开销 能给出考虑混合精度和 Adam 优化器后的合理估算范围 能说明估算随批次大小和序列长度变化的敏感性

考察说明