互联网/IT行业面试题更新 2026-08-05
请比较分布式训练中 DP 与 DDP 的区别。
腾讯人工智能互联网/IT技术原理方案权衡PyTorch
考察说明
考察对分布式训练并行策略的理解，包括通信、同步与适用场景
回答思路
- 明确DP与DDP的基本并行方式和参数同步机制
- 指出DP存在梯度通信瓶颈与扩展性限制
- 说明DDP的ring-allreduce通信优势与梯度同步方式
- 讨论两者在单机多卡与多机多卡场景的适用性
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
