在数据工程实践中，Airflow 通常需要与 Hadoop、Hive 这类大数据组件协同工作。请说明 Airflow 与 Hadoop 及 Hive 集成的主要方式，包括使用的 Operator、连接配置以及任务调度的典型流程。
考察说明
考查候选人是否理解 Airflow 作为工作流调度引擎如何对接底层大数据生态，以及实际集成中的关键配置与执行机制。
回答思路
- 【回答框架 1】Airflow 与 Hadoop 集成主要依赖 HdfsSensor 或 HdfsHook 来监控 HDFS 路径或执行文件操作，通过 SSHOperator 或 SparkSubmitOperator 提交 MapReduce 或 Spark 作业到集群，连接配置需在 Connection 中设置 HDFS 的 namenode 地址和认证方式。
- 【回答框架 2】与 Hive 集成通常使用 HiveOperator 执行 HiveQL 脚本，或通过 HiveHook 提交查询；Airflow 通过 JDBC 或 HiveServer2 连接 Hive，需在 Connection 中配置 Hive 的 metastore 或 thrift 端点，并确保 Airflow 所在节点有相应客户端驱动。
- 【回答框架 3】典型流程是 DAG 定义任务依赖，例如先通过 HdfsSensor 等待上游数据文件就绪，再触发 HiveOperator 执行 ETL 清洗，最后用 BashOperator 或 SparkSubmitOperator 启动后续分析任务；任务间通过 XCom 传递少量元数据，但大数据量应通过 HDFS 或外部存储交换。
- 【回答框架 4】集成时需注意资源管理，Airflow 调度器本身不执行重计算，而是将作业提交给集群；需配置合适的 pool 和 priority_weight 避免任务拥塞，同时监控日志和重试机制以处理集群故障。
- 【回答框架 5】安全方面，若集群启用 Kerberos，Airflow 需配置 keytab 和 principal，并在 Connection 中设置认证参数；Hive 的权限控制通过 Ranger 或 Sentry 管理，Airflow 仅作为提交者，不绕过权限校验。
- 【关键点 1】HiveOperator 用于执行 HiveQL，依赖 HiveServer2 或 metastore 连接。
- 【关键点 2】HdfsSensor 可监控 HDFS 路径变化，常用于数据就绪触发。
- 【关键点 3】SparkSubmitOperator 可提交 Spark 作业到 Hadoop YARN，实现计算任务集成。
- 【关键点 4】连接配置需在 Airflow Connection 中设置 HDFS 和 Hive 的端点及认证信息。
- 【关键点 5】任务间大数据传递应通过 HDFS 或外部存储，避免使用 XCom 传大量数据。
- 【易错点 1】不要将 Airflow 当作计算引擎，它只负责任务编排，实际计算在 Hadoop 或 Spark 集群执行。
- 【易错点 2】忽略 Kerberos 认证会导致集成失败，需提前配置好 keytab 和 principal。
- 【易错点 3】HiveOperator 默认使用 Hive CLI，可能受版本兼容影响，建议使用 HiveServer2 或 Beeline 方式。