互联网/IT行业面试题更新 2026-08-05

TP并行张量是如何切分的,又是如何合并的,按行切和按列切有何不同?

深圳虾皮信息科技有限公司人工智能互联网/IT系统设计技术原理方案权衡

考察说明

考察对张量并行切分与合并机制的理解及行/列切分的语义差异

回答思路

  1. 准确说明行切分与列切分的具体划分方式和维度
  2. 解释切分后如何通过通信完成合并与结果还原
  3. 对比行/列切分在数学运算(如矩阵乘)中的行为差异
  4. 能结合常见框架(如Megatron)说明2D切分策略