讲讲 MoE（混合专家）架构和 Dense（稠密）架构的差异，在训练和推理方面的表现如何？

回答思路

1. 清晰定义 MoE 与 Dense 结构差异，说明 MoE 的稀疏激活特性
2. 分析训练阶段 MoE 的负载均衡、通信开销与收敛挑战
3. 对比推理阶段 MoE 的计算效率、显存占用与路由开销
4. 能结合训练稳定性或实际代价说明权衡