请解释 MOE（Mixture of Experts）架构的核心概念和工作原理。

Question

Accepted Answer

考察点：考察对大模型稀疏专家混合架构的理解。回答思路：说明MOE由多个专家网络和一个门控/router组成 解释稀疏激活机制，仅部分专家被激活 指出训练和推理的关键挑战，如负载均衡、通信开销

考察说明