针对 Apache Flume 的数据传输管道，当面临高并发流量时，通常采用哪些手段来提升吞吐量与稳定性？请列举并说明几种常用的优化方案。
考察说明
考察候选人对 Flume 高并发场景下性能调优的理解与实践经验。
回答思路
- 【回答框架 1】Flume 高并发瓶颈通常出现在 Source 端、Channel 和 Sink 端。常见优化方向包括：调整 JVM 堆内存与 GC 参数，增加 Source 和 Sink 的线程数，选择合适的 Channel 类型（如 File Channel 或 Kafka Channel）以提升吞吐与可靠性。
- 【回答框架 2】Channel 配置是关键。对于高吞吐，可使用容量更大的 Channel，增大 transactionCapacity，并合理设置 keep-alive 与 byteCapacityBufferPercentage 等参数。若需持久化，File Channel 需配置合适的数据目录与检查点目录，并独立磁盘以减少 IO 竞争。
- 【回答框架 3】Sink 端可通过增加 Sink 线程数、使用负载均衡 Sink Group（LoadBalancingSinkProcessor）或故障转移 Sink Group（FailoverSinkProcessor）以及批量提交（batchSize）来提升写入效率。同时，优化下游系统（如 HDFS、Kafka）的写入性能。
- 【回答框架 4】在 Source 端，可增加 Source 的实例个数或使用 Spooling Directory Source 的 pollingFrequency 参数；若使用 Kafka Source，可适当增加分区数与消费者线程。此外，通过多 Agent 级联或分流到多个 Channel 来分散压力。
- 【关键点 1】调整 JVM 内存与 GC，避免频繁 Full GC 导致性能抖动。
- 【关键点 2】Channel 选型与参数调优：容量、transactionCapacity、磁盘隔离。
- 【关键点 3】增加 Sink 并发：多 Sink 线程、Sink Group、合理 batchSize。
- 【关键点 4】Source 端并行：多 Source 实例或调整 poll 频率、Kafka 分区。
- 【关键点 5】系统层面：优化下游存储，使用压缩、合理文件滚动等。
- 【易错点 1】盲目增加线程数可能导致资源竞争和瓶颈转移，需结合压测。
- 【易错点 2】File Channel 使用共享磁盘或默认配置可能造成 IO 瓶颈，需独立磁盘并调整缓冲区。
- 【易错点 3】忽视 Channel 的容量限制，可能导致数据积压或丢弃，需与 Sink 消费能力匹配。