负载均衡：MoE 模型中专家（Expert）的负载不均衡问题该如何解决？

Question

Accepted Answer

考察点：考察对 MoE 架构中专家路由负载均衡机制的理解与优化方案设计。回答思路：说明负载不均衡的成因与影响 提出带负载均衡项的路由损失函数 讨论辅助算法如容量因子与随机丢弃 对比其他路由策略与工程实践

考察说明