针对 Apache Kafka 的分区读写性能优化，你会采用哪些具体调优策略？请从分区数量设计、生产者与消费者参数、以及存储与网络层面分别说明。
考察说明
考查候选人对 Kafka 分区读写性能瓶颈的理解及系统性调优能力。
回答思路
- 【回答框架 1】分区数量设计：分区数影响并行度与负载均衡，过多增加文件句柄和元数据开销，过少限制吞吐。需结合目标吞吐、消费者数量及单分区顺序写特性，估算分区数并预留扩展空间。
- 【回答框架 2】生产者调优：设置合适的 batch.size 和 linger.ms 以批量发送，提升吞吐；使用 acks=all 保证可靠性但增加延迟，需权衡；启用压缩（如 lz4、zstd）减少网络传输；合理设置 buffer.memory 避免阻塞。
- 【回答框架 3】消费者调优：增加消费者实例数并保持与分区数匹配，实现并行消费；调整 fetch.min.bytes 和 fetch.max.wait.ms 减少请求次数；使用 enable.auto.commit=false 并手动提交，控制处理偏移量，避免重复或丢失。
- 【回答框架 4】存储与网络层面：确保磁盘为 SSD 并配置足够的页缓存，利用顺序写特性；调整 log.segment.bytes 和 log.index.interval.bytes 控制日志段大小；监控网络带宽和 I/O 队列，避免瓶颈；必要时调整 num.io.threads 和 num.network.threads。
- 【回答框架 5】监控与压测：通过 JMX 指标监控分区负载、请求延迟和吞吐，使用压测工具（如 kafka-producer-perf-test）验证调优效果，持续迭代。
- 【关键点 1】分区数应基于吞吐和消费者并行度设计，避免过多或过少。
- 【关键点 2】生产者通过批量、压缩和异步发送提升吞吐，但需权衡可靠性。
- 【关键点 3】消费者并行度受分区数限制，手动提交偏移量可精确控制。
- 【关键点 4】存储层利用顺序写和页缓存，SSD 可显著降低 I/O 延迟。
- 【关键点 5】调优需结合监控和压测，避免盲目调整参数。
- 【易错点 1】分区数设置过大导致文件句柄和元数据开销，增加管理成本。
- 【易错点 2】盲目增大 batch.size 可能增加内存占用和延迟，需平衡。
- 【易错点 3】忽略消费者组重平衡，可能导致消费停顿或重复消费。