后端岗位面试题更新 2026-08-05

大数据场景下的小文件问题为什么会产生,如何解决?

腾讯云智研发后端开发互联网/IT技术原理方案权衡问题排查Apache HadoopHDFS

考察说明

考察对HDFS小文件问题的成因、影响及治理方案的理解

回答思路

  1. 说明小文件产生的主要来源(如Spark/Hive写入、动态分区、流式写入)
  2. 分析小文件对NameNode内存、任务调度和查询性能的影响
  3. 提出合并策略(如文件归档、控制分区数、小文件合并工具)
  4. 考虑写入端优化和读取端优化
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。