MMOE（多门控专家混合模型）存在哪些主要缺点？

Question

Accepted Answer

考察点：考察对MMOE模型局限性的理解和分析能力。回答思路：能指出多专家网络之间的跷跷板效应 能说明注意力机制可能导致的专家退化问题 能提及泛化能力不足和训练不稳定等缺点

考察说明