阿里巴巴面试题更新 2026-08-05

在部署一个87B参数的MoE模型时,如何估算其每秒能生成的token数?请说明影响推理吞吐量的关键因素。

阿里巴巴人工智能电商性能优化风险判断技术原理

考察说明

考察对LLM推理性能影响因素的理解和估算方法

回答思路

  1. 识别影响吞吐量的关键因素:硬件算力、显存带宽、模型结构、批次大小、量化等
  2. 能说明MoE模型与密集模型在推理性能上的差异
  3. 提供合理的估算方法或计算思路,而非给出绝对数值
  4. 强调实际性能需通过基准测试验证