请解释流水线并行（Pipeline Parallelism）的基本原理及其主要优缺点。

Question

Accepted Answer

考察点：考察对流水线并行机制的理解及其适用场景。回答思路：说明流水线并行将模型按层切分并分配给不同设备 描述前向与反向传播的流水线执行方式及气泡问题 对比数据并行并说明其适用场景与局限

考察说明