请阐述在 Hadoop 框架下，数据倾斜产生的原因有哪些，并说明针对该问题可以采取哪些应对措施？

回答思路

1. 【回答框架 1】数据倾斜的本质是数据分布不均，导致个别Reduce Task或Map Task处理的数据量远超其他任务，形成长尾。成因主要包括：key分布本身不均匀，如热点key、业务数据自然倾斜；分区函数或自定义Partitioner设计不合理；Join操作中关联键null值过多或小表与大表join时关联键集中；以及GroupBy、Distinct等操作对单一key聚合。
2. 【回答框架 2】常见处理策略：1）预处理阶段：对热点key加随机前缀（如将key拆分为多份），使数据分散到不同分区；2）对Join倾斜：采用Map端Join或Broadcast Join，将小表分发到各Map任务，避免Reduce端数据倾斜；若大表关联键分布不均，可先过滤或替换null值，或利用随机前缀+二次聚合；3）调整并行度：增加Reduce数量，或启用推测执行（Speculative Execution）以应对个别任务执行缓慢；4）使用Combine函数减少Shuffle数据量。
3. 【回答框架 3】实际调优中需结合数据特征：先通过Counter或日志定位倾斜的具体任务，分析倾斜key。对于超大key（如用户ID），可拆分后聚合；对于空值或默认值，可填充随机值分散。同时注意，过度拆分可能增加任务开销，需权衡。最佳实践是结合Hive、Spark等上层计算框架的优化器设置，如开启倾斜join优化（skew join）。
4. 【回答框架 4】风险与边界：数据倾斜处理并非万能，无法彻底消除极端倾斜；分布式计算中网络和任务调度本身也会造成波动，不应将所有性能问题归因于倾斜。需结合集群规模、数据量级和业务逻辑综合评估，并在生产环境进行压测验证。
5. 【关键点 1】数据倾斜由key分布不均、分区函数不当、Join关联键集中等原因造成。
6. 【关键点 2】常用策略包括预聚合、随机前缀拆分、Map端Join、调整并行度等。
7. 【关键点 3】定位倾斜需通过Counter或日志分析各task处理量，再针对性优化。
8. 【关键点 4】处理时需权衡任务开销，避免因过度拆分降低整体效率。
9. 【易错点 1】不加分析盲目增加Reduce数量，可能无法解决倾斜反而增加调度开销。
10. 【易错点 2】简单对key加随机前缀会导致结果错误，必须配合二次聚合或还原操作。
11. 【易错点 3】忽略业务语义，对null值处理不当可能改变join结果（如丢失数据）。