请谈谈大模型服务部署时的性能优化，可以从哪些方面入手？

Question

Accepted Answer

考察点：考察对大模型推理性能优化关键路径的理解与系统性分析。回答思路：能区分训练与推理优化目标的差异 覆盖模型层、运行时和硬件层优化手段 能说明量化、批处理、缓存等常见技术及适用场景 能结合延迟、吞吐、成本等指标讨论权衡 有实际优化经验或可验证的效果认知

考察说明