请解释 Hive 中 Skew Join 的概念，并说明其在处理数据倾斜问题时的工作机制是怎样的？

回答思路

1. 【回答框架 1】Skew Join 是 Hive 针对数据倾斜场景的一种优化策略。数据倾斜是指某些 key 的数据量远大于其他 key，导致单个 reducer 处理大量数据，拖慢整个作业。
2. 【回答框架 2】Skew Join 的触发条件通常由 hive.optimize.skewjoin 参数开启，并设置阈值 hive.skewjoin.key，当某个 key 的记录数超过该阈值时，该 key 会被特殊处理。
3. 【回答框架 3】工作机制：将倾斜的 key 对应的数据单独拆分出来，不参与常规的 map join 或 reduce join 的 key 分发，而是复制到所有 mapper 中，通过 map join 的方式与其他表的小表数据进行关联，从而避免倾斜 key 集中在单个 reducer。
4. 【回答框架 4】对于非倾斜的 key，则走正常的 join 流程。这样既利用了 map join 的高效性，又避免了对非倾斜 key 的冗余复制。
5. 【关键点 1】Skew Join 用于解决数据倾斜问题，通过将倾斜 key 的数据进行特殊处理，避免单个 reducer 负载过重。
6. 【关键点 2】通过 hive.optimize.skewjoin 开启优化，并设置 hive.skewjoin.key 阈值来识别倾斜 key。
7. 【关键点 3】倾斜 key 的数据使用 map join 处理，非倾斜数据走 reduce join，兼顾效率与正确性。
8. 【易错点 1】Skew Join 不是万能的，当多个 key 都倾斜时，可能会导致复制数据量过大，增加网络和内存压力。
9. 【易错点 2】需要合理设置倾斜阈值，阈值过小可能导致大量 key 被当作倾斜 key，阈值过大则无法有效识别真正的倾斜。
10. 【易错点 3】Skew Join 主要针对 join 场景，对于 group by 等其他数据倾斜场景，需要采用其他优化方法（如加随机前缀、两阶段聚合等）。