你要为一个每天流量波动很大的私有模型服务做容量规划，会怎样估算 GPU 数量并验证扩缩容策略？
考察说明
考查模型部署中的工作负载建模、容量压测和弹性设计能力。
回答思路
- 从真实流量提取请求率、输入输出长度、并发、任务优先级和峰谷曲线，不能只用日均调用量估算。
- 在目标硬件与推理配置上压测不同批量和上下文，测量显存、吞吐、首字与高分位延迟并定位饱和点。
- 按服务目标、故障冗余和发布预留计算基础容量，为突发流量设置队列上限、限流和可接受降级。
- 扩缩容信号结合排队时间、活跃序列和显存压力，GPU 启动与模型加载较慢时需要预热或预测扩容。
- 通过阶跃流量、节点故障和长短请求混合演练验证策略，并持续用生产分布修正容量模型与成本。