请说明Hadoop中数据块大小的默认值是多少,以及该参数是否支持调整。
考察说明
考查对Hadoop核心参数的理解及配置修改能力。
回答思路
- 【回答框架 1】Hadoop默认数据块大小为128MB,该值由参数dfs.blocksize控制,可在hdfs-site.xml中修改。
- 【回答框架 2】修改方式:在hdfs-site.xml中设置dfs.blocksize为新值,例如256MB,然后重启HDFS或滚动重启DataNode使配置生效。
- 【回答框架 3】需注意修改仅影响新建文件,旧文件的块大小不变;且实际块大小可能受文件大小、机架感知等因素影响。
- 【回答框架 4】块大小设计权衡:过大减少元数据开销但增加计算本地性风险,过小则增加NameNode内存压力,需结合集群规模调整。
- 【关键点 1】默认块大小128MB
- 【关键点 2】参数为dfs.blocksize
- 【关键点 3】修改文件hdfs-site.xml
- 【关键点 4】仅对新文件生效
- 【易错点 1】误以为修改后旧文件块大小自动变化
- 【易错点 2】忽略NameNode内存限制设置过大块
- 【易错点 3】未重启集群导致配置不生效