请介绍 NCCL 通信底层算法的基本原理，并说明其在分布式训练中的作用。

Question

Accepted Answer

考察点：考察对 NCCL 通信机制和分布式训练底层知识的理解。回答思路：能解释 NCCL 的通信原语及拓扑感知 能说明 ring allreduce 或 tree allreduce 等算法的基本流程 能联系实际说明算法选择对带宽和延迟的影响

考察说明