DP和DDP的原理区别是什么？

回答思路

1. 说明DP（数据并行）的基本原理：同一模型复制到多卡，按batch维度切分数据，梯度同步更新
2. 说明DDP（Distributed Data Parallel）的具体机制：使用Ring AllReduce、梯度桶（bucket）、通信与计算重叠
3. 对比两者在梯度同步方式、通信效率、扩展性上的差异