请解释 Azkaban 与 HDFS 之间进行集成的方式，并阐述在 Azkaban 中调度 HDFS 任务的具体流程与要点。
考察说明
考察对工作流调度工具 Azkaban 及其与 Hadoop 生态集成能力的理解，以及实际操作经验。
回答思路
- 【回答框架 1】Azkaban 是一个开源的批量工作流调度器，通过 Job 和 Flow 来定义任务依赖和调度逻辑。它本身不直接与 HDFS 交互，而是通过提交 Hadoop 命令或运行 Hadoop 生态工具（如 Hive、Spark、MapReduce）来间接访问 HDFS。集成方式主要包括：在 job 文件中配置 type=command，然后命令里写上 hadoop fs 操作；或使用 type=hadoopShell、type=javaprocess 等专用类型。命令示例：command=sh -c 'hadoop fs -ls /data/input && hadoop fs -mkdir -p
- 【回答框架 2】调度 HDFS 任务的关键在于正确配置 Hadoop 客户端环境。Azkaban 运行任务的节点需要安装 Hadoop 客户端，设置 HADOOP_HOME、PATH 环境变量，并拥有访问集群的配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml）。若集群启用 Kerberos 认证，还需在 azkaban 的 job 中配置 principal 和 keytab 位置，或在启动 Azkaban 前使用 kinit 获取凭证。否则会因认证失败导致任务无法访问 HDFS。
- 【回答框架 3】在 Azkaban 中，每个任务对应一个 .job 文件，通过 dependencies 属性定义任务之间的依赖关系，构成 flow。例如，先运行一个数据加载任务，再运行一个分析任务。调度 HDFS 任务时，可通过 cron 表达式或定时命令设置触发时间，实现周期性运行。注意 HDFS 操作可能由于网络、NameNode 故障或数据倾斜导致超时，因此 Job 应配置重试次数、失败告警和超时时间。
- 【关键点 1】Azkaban 通过命令行或专用 job 类型调用 Hadoop 命令来访问 HDFS，并非内置集成。
- 【关键点 2】Azkaban 执行节点必须安装 Hadoop 客户端并配置正确的认证信息。
- 【关键点 3】通过 job 文件和 dependencies 构建流程，配合 cron 实现周期调度。
- 【关键点 4】生产环境需关注任务失败重试、超时设置和集群资源限制。
- 【易错点 1】不要在 Azkaban job 中直接硬编码 Keytab 明文，而应通过安全机制或参数化防止泄露。
- 【易错点 2】若集群启用了 HA，需确保客户端配置包含所有 NameNode 地址，否则会因单点故障导致任务失败。
- 【易错点 3】HDFS 命令运行时需要注意文件锁、并发写冲突，以及租约过期问题。