请谈谈你对 MoE（Mixture of Experts）模型的理解及其在大型语言模型中的应用。

回答思路

1. 解释 MoE 的基本架构：多个专家网络与门控（router）机制
2. 描述稀疏激活带来的计算效率优势
3. 能结合实际模型（如 Mixtral）说明在 LLM 中的落地方式和收益
4. 能指出 MoE 的挑战，如负载均衡、通信开销、训练稳定性等