请解释 PySpark 中的 Catalyst 优化器的工作机制，并说明如何利用它来优化查询性能。
考察说明
考查对 PySpark Catalyst 优化器内部机制的理解以及实际性能调优能力。
回答思路
- 【回答框架 1】Catalyst 优化器基于 Scala 的函数式编程构建，采用树形结构表示逻辑计划与物理计划。其工作流程分为四个阶段：分析、逻辑优化、物理规划和代码生成。
- 【回答框架 2】分析阶段解析 SQL 或 DataFrame 操作，绑定 Schema 并解析列名与表达式，生成未优化的逻辑计划。逻辑优化阶段应用规则如谓词下推、列剪枝、常量折叠等，消除冗余计算。
- 【回答框架 3】物理规划阶段将逻辑计划转换为物理计划，通过成本模型或规则选择最佳执行策略，如选择合适的数据扫描方式、连接策略（如 BroadcastHashJoin、SortMergeJoin）。
- 【回答框架 4】代码生成阶段利用全阶段代码生成（WholeStageCodegen）将算子编译为 JVM 字节码，减少虚函数调用和内存开销，提升执行效率。
- 【回答框架 5】在 PySpark 中，用户可通过 DataFrame API 而非 RDD 来触发 Catalyst 优化，并利用 explain() 查看执行计划，调整查询逻辑以触发剪枝和优化。
- 【关键点 1】Catalyst 优化器分四阶段：分析、逻辑优化、物理规划、代码生成。
- 【关键点 2】逻辑优化包含谓词下推、列剪枝、常量折叠等规则。
- 【关键点 3】物理规划基于成本模型选择连接策略，如 BroadcastHashJoin。
- 【关键点 4】全阶段代码生成减少 JVM 开销，提升性能。
- 【关键点 5】使用 explain() 可查看计划并针对性调整查询。
- 【易错点 1】不要频繁使用 UDF，破坏 Catalyst 优化机会。
- 【易错点 2】避免不必要的 Shuffle，如不合理使用 groupBy 或 join，可调整分区或使用广播。
- 【易错点 3】注意 Catalyst 不原生优化 RDD API，应优先使用 DataFrame。