怎么看大模型推理时显卡是算力不够还是显存不够？

Question

Accepted Answer

考察点：考察对GPU推理瓶颈的识别、分析和定位能力。回答思路：能区分算力瓶颈与显存瓶颈的核心表现 能准确判断显存溢出的信号 能解释算力瓶颈的典型特征 能给出验证方法或工具 能讨论优化方向

考察说明