在处理大型数据集时，PySpark 通常面临哪些性能瓶颈？请列举并解释几种常用的性能优化方法，并说明这些方法如何提升大规模数据处理效率。
考察说明
考查候选人对 PySpark 性能调优的全面理解，以及在实际场景中优化大数据处理的能力。
回答思路
- 【回答框架 1】性能瓶颈常见于 shuffle 操作、数据倾斜、资源利用率低和序列化开销。优化策略分为应用层、集群层和代码层。
- 【回答框架 2】应用层优化包括合理设置分区数（如 spark.sql.shuffle.partitions）、使用 broadcast join 处理小表、避免过多 shuffle 操作（如使用 reduceByKey 代替 groupByKey）。
- 【回答框架 3】集群层优化涉及内存配置（如 spark.executor.memory）、并行度调整、动态资源分配和选择合适的存储格式（如 Parquet）和压缩算法（如 Snappy）。
- 【回答框架 4】数据倾斜问题可通过增加随机前缀、使用 salting 技术或调整 join 策略来解决。此外，合理使用缓存（cache/persist）和避免重复计算也能提升性能。
- 【回答框架 5】实际调优需结合监控（如 Spark UI）分析任务耗时和数据 shuffle 大小，针对瓶颈进行迭代优化。
- 【关键点 1】减少 shuffle 和网络传输是调优核心。
- 【关键点 2】数据倾斜是常见隐患，需专门处理。
- 【关键点 3】参数配置需结合具体数据量和集群资源。
- 【关键点 4】使用 broadcast join 替代 shuffle join 可显著加速。
- 【关键点 5】缓存复用中间结果可减少重复计算。
- 【易错点 1】盲目增大并行度可能造成资源竞争和任务调度开销。
- 【易错点 2】缓存所有数据可能导致内存溢出。
- 【易错点 3】仅依赖默认配置，未针对数据特征调整。