我要招人

人工智能面试题更新 2026-08-05

不同的切分方式（如按列切分、按行切分）会改变张量并行的通信行为吗？请举例说明。

字节跳动人工智能互联网/IT技术原理方案权衡

考察说明

考察对不同切分方式通信差异的理解

回答思路

  1. 说明按列切分会引入 All-reduce
  2. 说明按行切分也会引入 All-reduce，但可能伴随转置操作
  3. 通过具体例子对比通信序列差异