高德地图面试题更新 2026-08-05

请介绍训练pipeline,并说明DeepSpeed ZeRO 1/2/3的原理,你们用了哪个,为什么用这个?

高德地图人工智能技术原理技术选型方案权衡DeepSpeed

考察说明

考察对分布式训练内存优化机制的理解、选型依据与工程实践

回答思路

  1. 清晰说明训练pipeline的整体流程
  2. 准确解释ZeRO 1/2/3各自优化了哪些内存
  3. 说明所选ZeRO级别并给出选型理由
  4. 能结合模型规模、显存与通信开销分析权衡