如何评价MMoE模型各个专家的学习效果

回答思路

1. 说明不同专家是否学到不同任务特征，避免全部专家趋同
2. 从门控权重分布、专家输出差异性等角度分析
3. 结合任务loss变化与专家利用情况解释效果
4. 能提出改进专家分化的策略