请解释 Spark SQL 中跨节点数据交换的实现机制，并给出优化跨节点数据传输的具体方法。
考察说明
考查对 Spark SQL 内部 shuffle 机制的理解及调优能力。
回答思路
- 【回答框架 1】Spark SQL 中跨节点数据交换主要依赖 Shuffle 操作，其核心过程是 map 端将数据分区、排序并写入本地磁盘，reduce 端拉取对应分区数据进行合并。Shuffle 分为 Hash Shuffle 和 Sort Shuffle，较新版本默认使用 Sort Shuffle，其通过排序和索引文件减少文件数量。
- 【回答框架 2】跨节点数据传输的瓶颈通常在于网络 I/O 和磁盘 I/O，优化可从减少数据量、调整并行度、使用合适的数据结构等方面入手。例如，通过合理设置分区数（spark.sql.shuffle.partitions）来控制每个分区的数据量，避免过多或过少的分区导致资源浪费或数据倾斜。
- 【回答框架 3】广播连接（Broadcast Join）可避免大规模 Shuffle，适用于小表与大表连接场景，通过将小表复制到每个节点实现本地化连接。对于数据倾斜，可采用加盐、两阶段聚合或自定义分区器等方法均衡数据分布。
- 【回答框架 4】另外，开启压缩（如 snappy）和调节网络缓冲区相关配置（如 spark.shuffle.file.buffer），以及使用堆外内存（off-heap）和合理的存储级别（如 MEMORY_AND_DISK_SER）可降低数据传输和序列化开销。
- 【关键点 1】Shuffle 是 Spark SQL 跨节点数据交换的核心，默认使用 Sort Shuffle。
- 【关键点 2】通过广播连接减少大规模数据交换。
- 【关键点 3】合理设置分区数量和控制数据倾斜是优化数据传输的关键。
- 【易错点 1】过度增加分区数可能导致小文件过多，增加调度开销和降低 I/O 效率。
- 【易错点 2】广播连接只适用于小表，大表广播会导致内存溢出或网络压力。