我要招人

数据岗位面试题更新 2026-08-05

请说明在 PySpark 中处理大规模数据 Join 时通常采用哪些策略，并阐述通过参数调优来改善 Join 性能的具体思路和方法。

数据性能优化技术原理问题排查PySpark

考察说明

考察对 PySpark 分布式 Join 原理的理解及大规模数据场景下的优化能力。

回答思路

  1. 【回答框架 1】PySpark 的 Join 默认基于 Shuffle Hash Join，需要将参与 Join 的键按照分区重新分布到各节点，数据倾斜时会成为性能瓶颈。对于大表与小表（维度表）的 Join，优先使用 Broadcast Join，通过将小表广播到每个 Executor，避免 Shuffle，能显著提升性能。
  2. 【回答框架 2】当两表都较大时，可采用 Bucketing 和 Sort-Merge Join。先对两张表按 Join 键进行分桶，并在写入时排序，使 Join 时无需 Shuffle 和排序，直接进行本地合并，从而降低网络和计算开销。
  3. 【回答框架 3】若数据存在倾斜，可对倾斜键加盐（salting），即对热键添加随机前缀，将数据分散到更多分区，Join 完成后再去除前缀还原键，从而均衡负载。
  4. 【回答框架 4】Spark 参数调优方面，可调整 spark.sql.autoBroadcastJoinThreshold（默认 10MB）以扩大广播阈值，或设置 spark.sql.shuffle.partitions 控制 Shuffle 分区数，通常设为集群 CPU 核数的 2-3 倍，并确保每个分区数据量合理，以提升并行度和减少溢出。
  5. 【回答框架 5】此外，可开启 spark.sql.adaptive.enabled（AQE）动态优化，例如自动调整 Shuffle 分区数、将小 Join 转为广播 Join，从而减少人工配置，提升 Join 效率。
  6. 【关键点 1】小表优先使用 Broadcast Join，避免 Shuffle。
  7. 【关键点 2】大表 Join 可采用 Bucketing 和 Sort-Merge Join。
  8. 【关键点 3】数据倾斜时使用加盐方法分散热点键。
  9. 【关键点 4】合理设置 shuffle.partitions 和广播阈值。
  10. 【关键点 5】开启 AQE 能动态优化 Join 执行计划。
  11. 【易错点 1】广播阈值设置过大会导致 Driver 端内存溢出，需权衡资源。
  12. 【易错点 2】加盐可能增加数据量，需避免过度设计。
  13. 【易错点 3】不根据数据规模和集群资源盲目调参，效果可能适得其反。