你使用GPTQ后量化后，模型性能发生了哪些变化？你是如何评估的？

Question

Accepted Answer

考察点：考察对量化模型性能变化趋势的理解及评估方法。回答思路：说明量化的显存、速度和精度变化 描述评估指标如困惑度、任务准确率 能结合具体业务目标解读性能损失的可接受范围 提及可能出现的退化场景如长文本或推理

考察说明