针对HDFS，文件读写的延迟较高时，一般从哪些方面入手进行调优？请列举并说明可用的手段。
考察说明
考察对HDFS读写路径及性能调优的理解，并能否提出具体可落地的方案。
回答思路
- 【回答框架 1】HDFS读写延迟的来源：客户端与DataNode间的网络传输、磁盘I/O、NameNode元数据操作、副本写入的pipeline以及数据块大小和压缩等。调优需先定位瓶颈，再针对性调整。
- 【回答框架 2】客户端侧：调整读取/写入缓冲区大小（如dfs.blocksize、io.file.buffer.size），启用短路读取（short-circuit read），在本地读取场景可显著降低延迟；写入时可考虑异步管道或适当调整复制因子。
- 【回答框架 3】服务端侧：优化DataNode的磁盘类型（使用SSD）、调整存储策略（如异构存储），增大网络带宽或调整RPC处理线程数（dfs.namenode.handler.count），减少NameNode的GC停顿和元数据操作锁竞争。
- 【回答框架 4】数据与访问层面：合理设置数据块大小以匹配文件规模和访问模式，采用压缩减少网络传输量，使用本地读缓存（如OS page cache）或HDFS缓存（集中式缓存）加速热数据访问。
- 【回答框架 5】权衡与验证：延迟调优往往与吞吐量、成本相互制约，应通过基准测试（如TestDFSIO）测量修改前后的p99延迟和吞吐，结合集群规模选择组合方案。
- 【关键点 1】短路读取避免数据经过网络，本地读延迟最低。
- 【关键点 2】增大缓冲区或使用异步I/O可减少等待时间。
- 【关键点 3】SSD与异构存储能明显降低磁盘I/O延迟。
- 【关键点 4】调节DataNode和NameNode的线程数、内存可缓解高并发下的排队延迟。
- 【关键点 5】数据压缩与优化块大小可减少传输量，但需权衡CPU开销。
- 【易错点 1】直接提高复制因子可能增加写入延迟和网络负载。
- 【易错点 2】过度调大缓冲区可能导致内存压力或GC问题。
- 【易错点 3】忽视网络拓扑和机架感知，副本放置不当可能增加延迟。