当大语言模型服务并发请求过高时，你会如何应对？

回答思路

1. 分析并发高的典型原因（算力、显存、网络、推理引擎）
2. 提出负载均衡、限流与排队策略
3. 说明批处理、量化、缓存等优化手段
4. 考虑水平扩容与弹性伸缩
5. 讨论成本与延迟的权衡