请解释MoE（混合专家）模型的基本结构及其核心设计思路。

Question

Accepted Answer

考察点：考察对MoE模型结构、路由机制和稀疏激活原理的理解。回答思路：说明MoE由多个专家网络和一个门控路由组成 解释稀疏激活与条件计算的思想 描述路由（gating）的网络如何分配token 能简述训练与推理时的负载均衡问题

考察说明