我要招人

SQL面试题更新 2026-08-05

请说明在使用 Spark SQL 处理多表关联时，可采用哪些优化手段来提升性能？请列举并解释至少三种常见的优化策略。

数据性能优化技术原理方案权衡Spark SQL

考察说明

考察候选人对 Spark SQL 多表 Join 性能优化的理解深度和实践经验。

回答思路

  1. 【回答框架 1】多表 Join 优化核心是减少数据 shuffle 和数据倾斜影响。常见策略包括：合理选择 Join 类型，如 Broadcast Join 适用于小表与大表 Join，通过将小表广播到各 executor，避免 shuffle，但需注意小表大小受 spark.sql.autoBroadcastJoinThreshold 控制（默认 10MB），超过阈值则可能失效。
  2. 【回答框架 2】对于大表 Join，可考虑排序合并连接（Sort Merge Join），这是 Spark 默认的 Join 方式，需要按键排序和 shuffle，可通过调整分区数（spark.sql.shuffle.partitions）来平衡并行度和任务开销，分区数过小会导致数据倾斜，过大则增加调度开销。
  3. 【回答框架 3】数据倾斜是 Join 性能瓶颈的常见原因，可对倾斜键加盐（如随机前缀）进行两阶段聚合，或使用广播嵌套循环连接（Broadcast Nested Loop Join）过滤无效数据，也可通过调整 Join 顺序，先过滤再 Join，减少参与 Join 的数据量。
  4. 【回答框架 4】合理设置动态分区裁剪（Dynamic Partition Pruning），当事实表与维度表 Join 时，可提前裁剪事实表分区，减少扫描数据量。此外，使用 Spark 3.0 的 Adaptive Query Execution（AQE）可动态调整分区和 Join 策略，需开启 spark.sql.adaptive.enabled 并合理配置。
  5. 【关键点 1】Broadcast Join 适合小表，需注意阈值限制。
  6. 【关键点 2】Sort Merge Join 是默认方式，通过调整分区数平衡性能。
  7. 【关键点 3】数据倾斜通过加盐、两阶段聚合或过滤无效数据缓解。
  8. 【关键点 4】Dynamic Partition Pruning 和 AQE 可自动优化部分场景。
  9. 【关键点 5】Join 顺序调整（先过滤后 Join）能显著减少数据量。
  10. 【易错点 1】过度依赖 Broadcast Join，忽略小表实际大小可能超出阈值导致任务失败或回退。
  11. 【易错点 2】不加区分地调整 shuffle 分区数，可能造成资源浪费或任务性能下降。
  12. 【易错点 3】加盐方法可能增加结果正确性处理复杂度，如去重或恢复原始键，容易出错。