在 Apache Druid 中，中间管理节点（Overlord）负责任务的调度与分配，请阐述其任务队列管理、任务分发机制，以及如何确保任务执行的高效性？
考察说明
考察对 Apache Druid Overlord 节点职责、任务调度机制及性能优化手段的理解。
回答思路
- 【回答框架 1】Overlord 是 Druid 的中央调度节点，负责接收任务（如批次摄入、段合并、压缩等），将其放入任务队列，并根据优先级和资源情况将任务分配给可用的 MiddleManager（中间管理节点）。
- 【回答框架 2】Overlord 将任务封装为任务文件，并保存到元数据存储（如 MySQL）中，确保任务状态持久化。它通过运行在每个 MiddleManager 上的 Worker 定期轮询或通过 HTTP 接口接收任务。
- 【回答框架 3】为保证高效执行，Overlord 会跟踪每个 MiddleManager 的容量（可用 worker 槽位），根据任务所需的容量进行分配，避免过载。它还具备高可用性配置，通过 Leader Election 确保主 Overlord 故障后能快速切换。
- 【回答框架 4】此外，任务队列支持优先级，可调整任务调度顺序；Overlord 还支持借助外部资源管理（如 Apache YARN）动态调整 MiddleManager 数量，以应对负载变化。
- 【关键点 1】Overlord 负责任务接收、队列管理和向 MiddleManager 分发任务。
- 【关键点 2】任务文件持久化在元数据存储中，Worker 通过轮询获取任务。
- 【关键点 3】根据 MiddleManager 的空闲槽位进行任务分配，实现负载均衡。
- 【关键点 4】Overlord 支持高可用部署，通过 Leader Election 保障调度可靠性。
- 【关键点 5】任务队列支持优先级，可优化重要任务的执行顺序。
- 【易错点 1】任务调度延迟可能成为瓶颈，需合理配置 Worker 轮询间隔和队列大小。
- 【易错点 2】忽略 MiddleManager 的资源限制（如内存、CPU）可能导致任务失败。
- 【易错点 3】Overlord 的单点问题需通过高可用配置解决，否则影响任务执行。