在 Apache Spark 中，Stage 的划分机制是基于哪些原则设计的？针对 Stage 划分，有哪些优化策略可以用来提高任务执行效率？
考察说明
考查对 Spark 作业调度核心机制 Stage 划分原理的理解及优化实践。
回答思路
- 【回答框架 1】Stage 是 Spark 作业中由宽依赖（Shuffle）边界划分的任务集合，每个 Stage 内包含一组可并行执行的任务，其划分基于窄依赖与宽依赖的识别，从后向前回溯 DAG。
- 【回答框架 2】窄依赖指父分区最多被一个子分区使用（如 map、filter），宽依赖指多个子分区依赖同一父分区（如 groupByKey、reduceByKey），宽依赖是 Stage 的天然分割点，因为它必须产生 Shuffle。
- 【回答框架 3】优化 Stage 划分的核心是减少 Shuffle 次数，可以通过调整算子顺序（尽量使用窄依赖）、合并窄依赖算子、合理设置分区数（避免过多或过少）、使用广播变量替代 Join 的 Shuffle 等。
- 【回答框架 4】在划分时，应尽量平衡各 Stage 的任务负载，避免数据倾斜，可以通过自定义分区器或加盐（salting）等方法优化。
- 【回答框架 5】此外，合理设置资源（如 executor 数量、内存）和调整 Spark 配置（如 spark.sql.shuffle.partitions）也能提升整体效率，但需结合具体集群和作业特性。
- 【关键点 1】Stage 基于宽依赖划分，窄依赖阶段合并在一个 Stage。
- 【关键点 2】减少 Shuffle 次数和避免数据倾斜是优化核心。
- 【关键点 3】调整分区数和算子顺序可有效优化。
- 【关键点 4】广播变量可减少 Join 的 Shuffle。
- 【关键点 5】最终效率需结合实际资源与压测验证。
- 【易错点 1】不能在所有场景都依赖默认分区数，应根据数据量调整。
- 【易错点 2】过度合并 Stage 可能导致内存压力，需权衡。
- 【易错点 3】只优化 Stage 划分而不考虑整体资源配置，效果有限。