作业帮面试题更新 2026-08-05

DeepSpeed如何将模型和优化器切分到多卡上,有哪些并行方式?

作业帮人工智能互联网/IT系统设计技术原理DeepSpeed

考察说明

考察对DeepSpeed ZeRO和常见并行策略的理解

回答思路

  1. 区分ZeRO阶段的切分粒度
  2. 说明ZeRO-1仅切分优化器状态
  3. ZeRO-3切分参数、梯度和优化器状态
  4. 能列举数据并行、模型并行和张量并行
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。