在 Apache Flink 的流处理作业中，当遇到数据倾斜导致的性能瓶颈时，可以从哪些层面采取优化措施？请列举并说明几种有效的应对策略。
考察说明
考查候选人对 Flink 数据倾斜问题的理解及其优化能力。
回答思路
- 【回答框架 1】数据倾斜的本质是某些 key 的数据量或计算量远大于其他 key，导致 subtask 负载不均。定位倾斜可通过 Web UI 查看各 subtask 的输入记录数、Watermark 推进速度及背压情况，确认瓶颈节点。
- 【回答框架 2】处理键控聚合（如 groupBy/keyBy 后聚合）的倾斜，可使用两阶段聚合（局部聚合加全局聚合），即先对 key 添加随机前缀进行局部聚合，再按原始 key 聚合；或使用预聚合（如 combine）减少 shuffle 数据量。
- 【回答框架 3】对于连接（join）倾斜，可采用广播小表、将大表拆分并加随机前缀与扩容后的维表关联，或使用基于间隔的维表缓存和异步 I/O 减少访问开销。
- 【回答框架 4】调整并行度并启用负载均衡（如 rebalance）可缓解分布不均，但根本措施是设计合理的 key，避免热点 key，例如对用户 ID 加盐或改用更细粒度的 key。
- 【回答框架 5】其他策略包括使用 Flink 的复杂事件处理（CEP）实现动态分区，或结合 Flink 的 Managed Memory 和 RocksDB 状态后端优化状态访问，但核心是减少单点压力。
- 【关键点 1】数据倾斜的本质是 key 分布不均导致 subtask 负载不均。
- 【关键点 2】两阶段聚合是缓解 key 聚合倾斜的常用方法。
- 【关键点 3】广播小表和加盐扩容可处理 join 倾斜。
- 【关键点 4】调整并行度和 rebalance 能改善分布，但对单热点 key 有限。
- 【关键点 5】最根本的优化是设计合理的 key 或预处理热点 key。
- 【易错点 1】简单增加并行度不能解决热点 key 导致的倾斜，反而可能加剧问题。
- 【易错点 2】两阶段聚合可能增加网络和计算开销，需权衡。
- 【易错点 3】广播小表可能增大内存压力，需评估表大小。