请说明你的项目在模型int8量化前后的内存占用变化，以及量化后对CPU占用率的影响。

Question

Accepted Answer

考察点：考察候选人对量化效果的量化和性能指标理解。回答思路：能说明int8量化对模型参数内存的理论压缩比 能结合模型参数量、输入输出及运行框架估算实际内存变化 能区分CPU占用率与延迟、吞吐量的关系并给出合理评估方法

考察说明