在 Azkaban 中，如何利用历史运行数据来改进调度策略？请说明具体方法和步骤。
考察说明
考查候选人是否理解基于历史数据优化调度策略的实践方法，包括数据收集、分析、调整和验证。
回答思路
- 【回答框架 1】首先，收集历史运行数据，包括任务执行时间、资源使用、失败率、依赖关系等，可通过 Azkaban 的日志、数据库或监控系统获取。
- 【回答框架 2】其次，分析数据，识别瓶颈任务、资源争用、失败模式，使用统计方法或可视化工具找出规律。
- 【回答框架 3】然后，根据分析结果调整调度策略，如调整任务优先级、并行度、重试机制、资源分配，或优化依赖顺序。
- 【回答框架 4】最后，实施调整后持续监控，对比优化前后的指标，验证效果并迭代优化。
- 【回答框架 5】注意考虑业务需求和数据时效性，避免过度优化导致系统不稳定。
- 【关键点 1】历史数据是优化调度策略的基础，需确保数据完整性和准确性。
- 【关键点 2】分析应聚焦于瓶颈、失败率和资源利用率。
- 【关键点 3】调整策略需小步快跑，逐步验证，避免大范围变更。
- 【关键点 4】持续监控和反馈循环是优化持续有效的关键。
- 【易错点 1】忽略数据时效性，使用过时数据可能导致策略不适配当前负载。
- 【易错点 2】过度依赖历史数据，未考虑突发流量或业务变化。
- 【易错点 3】调整策略时未充分测试，可能引入新的风险。