人工智能面试题更新 2026-08-05
请解释张量并行的原理,以及它与数据并行、流水线并行的区别。
京东人工智能电商技术原理方案权衡
考察说明
考察对模型并行策略的理解,特别是张量并行与数据并行、流水线并行的对比
回答思路
- 能清晰说明张量并行是对模型参数矩阵按维度切分,分布在多个设备上
- 能对比数据并行:复制模型,切分数据,梯度同步
- 能对比流水线并行:按层切分,微批次流水执行
- 能提及通信开销和适用场景的差异
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。