请介绍你在分布式训练方面的经验，尤其是使用 PyTorch 的分布式训练相关模块（如 DistributedDataParallel）时，你如何处理模型并行或数据并行，以及遇到了哪些挑战？

回答思路

1. 说明使用 PyTorch 分布式训练的具体场景和选型理由
2. 区分数据并行与模型并行并说明适用条件
3. 描述实际遇到的问题（如通信瓶颈、负载不均、梯度同步）及解决方案
4. 提及对分布式训练基本原理（如 NCCL、Gloo、参数服务器）的理解