FP16、BF16、FP32、INT8这些数值格式有什么区别？在训练和推理大模型时一般如何选择？

回答思路

1. 能说明各格式的位数、指数和尾数差异及数值范围与精度特点
2. 理解FP16和BF16的精度与范围差异及对训练稳定性的影响
3. 了解INT8低比特量化在推理中的应用及精度损失补偿方法
4. 能结合训练和推理场景给出合理的格式选择理由