请说明 Spark SQL 对数据分区的处理机制，并介绍自定义分区策略的具体设置方法。

回答思路

1. 【回答框架 1】分区是 Spark SQL 中用于优化查询性能的关键机制，它通过将数据按某列或多个列的值划分到不同的目录或文件中，实现数据在物理存储上的逻辑分组。默认情况下，Spark SQL 使用 Hive 的分区规则，支持静态分区和动态分区两种模式。
2. 【回答框架 2】静态分区在写入数据时显式指定分区值，适用于分区值已知且固定的场景；动态分区则根据数据中的列值自动创建分区，适用于分区值不确定或数量较多的场景。两者可通过 spark.sql.sources.partitionOverwriteMode 等参数调整行为。
3. 【回答框架 3】自定义分区策略主要通过设置分区列（partitionBy）来实现，在 DataFrameWriter 中使用 partitionBy 方法指定分区字段，写入时 Spark 会根据这些字段自动生成目录结构。此外，可以通过配置 spark.sql.shuffle.partitions 控制 shuffle 分区数，影响查询性能。
4. 【回答框架 4】对于更细粒度的控制，可以结合桶（bucket）或使用用户自定义函数（UDF）处理分区键，但核心策略仍依赖于分区列的合理选择。
5. 【关键点 1】分区是物理存储层面的数据分组，通过分区列值形成目录结构以加速查询。
6. 【关键点 2】静态分区显式指定值，动态分区自动生成，配置参数可控制覆盖行为。
7. 【关键点 3】自定义分区策略主要依赖 DataFrameWriter 的 partitionBy 方法设置分区字段。
8. 【关键点 4】shuffle 分区数由 spark.sql.shuffle.partitions 配置，影响算子执行性能。
9. 【易错点 1】分区列选择不当可能导致数据倾斜或过多小文件，影响写入和查询效率。
10. 【易错点 2】动态分区若未限制最大分区数，可能创建过多目录，引发元数据压力。
11. 【易错点 3】分区键不宜使用高基数列，否则导致目录数量爆炸，降低性能。