大模型推理通常关注哪些关键性能指标？请说明每个指标的含义。

Question

Accepted Answer

考察点：考察对大模型推理性能评估指标的理解。回答思路：能列出延迟、吞吐等核心指标 能解释指标的计算方式或业务意义 能区分首 token 延迟与整体延迟 能提到并发与批处理对指标的影响

考察说明