我要招人

人工智能面试题更新 2026-08-05

在训练MoE模型时，DeepSpeed如何平衡各个专家学到的token数量？

华为HUAWEI人工智能电子/半导体技术原理方案权衡问题排查DeepSpeed

考察说明

考察对DeepSpeed负载均衡策略的了解

回答思路

  1. 说明DeepSpeed使用辅助损失函数
  2. 解释如何通过梯度惩罚或显式约束平衡专家使用率
  3. 提及DeepSpeed的零优化器对负载均衡的支持