请解释Spark SQL中动态分区插入和动态分区修剪的实现原理。

回答思路

1. 【回答框架 1】动态分区插入在写入时根据分区列的值自动创建分区，无需预先指定。其核心机制是在写入前通过AQE或Shuffle实现分区列值聚类，确保相同值的数据落入同一任务，减少文件数量。
2. 【回答框架 2】动态分区修剪在查询时利用分区列的过滤条件，在优化阶段通过分析逻辑计划，裁剪不需要读取的分区目录，减少I/O。
3. 【回答框架 3】两者都依赖元数据和执行计划优化，但方向相反：插入是写时优化，修剪是读时优化。
4. 【回答框架 4】实现上，动态分区插入可能触发额外的Shuffle或使用Bucketize，而动态分区修剪通常在Planning阶段完成，基于分区统计信息。
5. 【关键点 1】动态分区插入通过Shuffle或Bucketize确保数据按分区列聚合。
6. 【关键点 2】动态分区修剪基于过滤条件裁剪分区目录。
7. 【关键点 3】两者需启用相关配置，如spark.sql.optimizer.dynamicPartitionPruning.enabled。
8. 【易错点 1】动态分区插入可能导致小文件问题，需权衡分区数量。
9. 【易错点 2】动态分区修剪仅对静态分区键有效，对动态生成的条件可能无效。