字节跳动面试题更新 2026-08-05
讲讲DeepSpeed几个阶段，分别分片什么、代价是什么
字节跳动人工智能互联网/IT技术原理技术选型方案权衡DeepSpeed
考察说明
考察对DeepSpeed ZeRO优化器各阶段分片策略及其通信和内存代价的理解
回答思路
- 清晰区分ZeRO Stage1、2、3分别分片优化器状态、梯度、模型参数
- 准确说明各阶段对应的内存节省和通信开销变化
- 能结合训练实例说明Stage3引入的通信代价和减少冗余计算
- 理解ZeRO与模型并行、流水线并行的配合关系
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
