在 Apache Storm 中，数据倾斜问题通常表现为某些任务负载过高而其他任务空闲。请说明你会如何识别和定位数据倾斜，并列出常见的优化手段来缓解该问题。
考察说明
考查对分布式流计算中数据倾斜问题的识别与优化能力。
回答思路
- 【回答框架 1】数据倾斜在 Storm 中表现为部分 bolt 的 execute 方法处理时间远超其他实例，常由 key 分布不均、业务热点或分区策略不当引起。定位时可通过 UI 查看各 task 的接收队列长度、处理延迟和吞吐量，并结合日志分析倾斜的 key。
- 【回答框架 2】常见优化手段包括：改进字段分组（fieldsGrouping）的 key 设计，对热点 key 加盐或随机前缀后分散到多个 task，再在后续 bolt 聚合还原；使用 shuffleGrouping 或自定义分组策略使负载更均匀；对计算密集或 IO 密集的 bolt 增加并行度，并合理调整 worker 和 executor 数量；在源头进行数据预聚合，减少倾斜 key 的冲击。
- 【回答框架 3】此外，可对热点 key 动态拆分到多个中间 key，并配合窗口或状态存储进行合并；或使用 partialKeyGrouping 等策略让相同 key 分到多个 task，但需注意结果正确性；对于极端倾斜，可结合消息队列做削峰填谷。
- 【回答框架 4】优化后需通过压力测试验证，观察各 task 负载均衡情况和整体吞吐量，避免因加盐导致后续聚合复杂化或状态一致性受损。
- 【关键点 1】识别倾斜：通过 UI 监控各 task 的队列长度、处理延迟和吞吐量差异。
- 【关键点 2】优化手段：字段分组 key 设计、加盐散列、调整并行度、预聚合、自定义分组。
- 【关键点 3】加盐需在后续阶段聚合还原，并注意状态一致性与结果正确性。
- 【易错点 1】加盐后未正确聚合会导致结果错误。
- 【易错点 2】盲目增加并行度可能增加网络开销和状态管理成本。
- 【易错点 3】忽略源头数据预聚合可能导致倾斜持续加剧。