在数据仓库的日常开发和运维中，数据倾斜是影响任务执行效率的常见难题。请阐述你通常会从哪些环节入手来定位与处理数据倾斜，并归纳出在数据仓库场景下几种常见且有效的优化方法。
考察说明
考查候选人是否理解数据倾斜的成因，以及是否有系统性的排查和优化思路，能否结合数据仓库常见计算引擎给出可行方案。
回答思路
- 【回答框架 1】数据倾斜的本质是数据在各分区或任务间分布不均，导致少数任务处理大量数据而成为长尾瓶颈，常见表现是任务进度停滞在99%或部分reduce任务运行极慢。定位时应先查看任务执行计划中各stage的任务耗时与输入数据量差异，结合日志确认倾斜键，再针对具体场景优化。
- 【回答框架 2】常见优化方法包括：对热点key加随机前缀打散，但需注意加盐后需二次聚合以还原结果；对空值或异常值单独处理，避免其集中到单任务；调整join策略，对倾斜的小表使用map join或广播，对大表倾斜可将倾斜key拆分并与小表分别关联后合并。
- 【回答框架 3】聚合类倾斜可利用combiner或两阶段聚合，先局部聚合再全局聚合，减少shuffle数据量。对于count distinct等特殊场景，可改用近似算法或先按维度分组去重后再count。此外，合理设置归并参数如spark.sql.shuffle.partitions，避免单分区数据过大。
- 【回答框架 4】需要区分数据倾斜与数据不均衡，业务本身存在天然热点时，可通过预处理或业务规则拆分，比如按时间或地域分批处理。优化后要通过对比任务耗时、数据分布验证效果，并建立监控告警，防止上线后再次出现。
- 【关键点 1】数据倾斜本质是key分布不均，需通过执行计划或耗时日志定位倾斜任务和具体key。
- 【关键点 2】加盐打散是通用方法，但必须配合二次聚合或两次join才能保证结果正确。
- 【关键点 3】map join或广播能避免大表join小表时的shuffle，适合倾斜场景。
- 【关键点 4】两阶段聚合（局部聚合+全局聚合）能有效减轻key倾斜的影响。
- 【关键点 5】空值或异常key应单独处理，避免其全部落入同一任务。
- 【易错点 1】加盐后忘记二次聚合或还原，直接导致计算结果错误。
- 【易错点 2】将数据倾斜与数据不均衡混为一谈，忽略业务天然热点而盲目加盐，可能造成资源浪费。
- 【易错点 3】仅调大并发数或分桶数不一定能解决倾斜，若key本身分布不均，还需结合拆分思路。