请说明 Apache Flume 与 Hadoop 分布式文件系统（HDFS）的集成方式，以及如何利用 Flume 将数据流传输并写入 HDFS？
考察说明
考查对 Flume 组件架构和 HDFS Sink 工作机制的理解。
回答思路
- 【回答框架 1】Flume 通过 HDFS Sink 与 HDFS 集成。核心机制是 sink 将事件（event）写入 HDFS 路径，通常以文本或序列文件格式存储。配置时需设置 hdfs.path 属性，指定如 hdfs://namenode/flume/events 的目标目录。
- 【回答框架 2】写入流程涉及文件的滚动（rolling）策略，基于大小、时间或事件数触发（如 hdfs.rollInterval、hdfs.rollSize），以避免产生过小或过大的文件。sink 会创建临时文件（后缀 .tmp）并定期根据 hdfs.inUsePrefix 等配置进行重命名，确保数据最终一致写入 HDFS。
- 【回答框架 3】集成中常使用拦截器（interceptor）对事件进行清洗、分区或添加时间戳，帮助按时间或业务维度组织 HDFS 目录。还可利用 channel 的持久化（如 file channel）保障数据不丢失，以及配置故障转移（failover）或负载均衡（load balancing）的 sink group 提高可靠性。
- 【回答框架 4】实际部署时需注意 HDFS 参数（如 replica 数）与 Flume 写入性能的平衡，避免小文件过多影响 NameNode 性能，同时根据数据吞吐调整 channel 容量和 sink 并发线程数。
- 【关键点 1】HDFS Sink 是 Flume 与 HDFS 集成的关键组件。
- 【关键点 2】通过 hdfs.path 指定写入路径，并使用 roll 参数控制文件滚动。
- 【关键点 3】事件先写入临时文件，最终重命名为正式文件。
- 【关键点 4】拦截器和 channel 配置可优化数据组织与可靠性。
- 【关键点 5】需关注小文件问题和性能调优。
- 【易错点 1】忽略 roll 配置导致写入大量小文件，影响 HDFS 集群稳定性。
- 【易错点 2】使用内存 channel 且未配置 replicate 导致数据丢失风险。
- 【易错点 3】未启用压缩或序列化格式不当造成存储效率低。