我要招人

数据岗位面试题更新 2026-08-05

请描述 Apache Spark 与 Hadoop HDFS 的集成方式，以及二者之间数据流动的具体实现机制。

数据技术原理Apache Spark

考察说明

考查对 Spark 与 HDFS 集成原理及数据流动机制的理解。

回答思路

  1. 【回答框架 1】Spark 通过 Hadoop 客户端 API 与 HDFS 集成，利用 HDFS 的分布式存储作为数据源和结果存储。Spark 任务运行时，通过 InputFormat 读取 HDFS 上的数据块，实现数据本地化。
  2. 【回答框架 2】数据流动机制：Spark 应用程序通过 Hadoop 配置获取 NameNode 地址，然后与 DataNode 通信读取数据块。读取时优先在本地节点读取，减少网络传输。写入时先写本地临时文件，再提交到 HDFS。
  3. 【回答框架 3】Spark 支持多种 Hadoop 文件格式，如 TextFile、SequenceFile、Parquet 等。通过 HadoopRDD 或 NewHadoopRDD 读取 HDFS 数据。写入时使用 saveAsHadoopFile 或 saveAsNewAPIHadoopFile。
  4. 【回答框架 4】Spark 的 Executor 与 HDFS 的 DataNode 通常部署在同一节点，以实现数据本地化，提高性能。Spark 还支持通过 YARN 或 Standalone 模式运行，与 HDFS 无缝集成。
  5. 【关键点 1】Spark 通过 Hadoop 客户端 API 与 HDFS 集成。
  6. 【关键点 2】数据读取采用数据本地化策略，减少网络传输。
  7. 【关键点 3】Spark 支持多种 Hadoop 文件格式。
  8. 【关键点 4】数据写入 HDFS 时先写本地再提交。
  9. 【易错点 1】混淆 Spark 与 Hadoop MapReduce 的集成方式。
  10. 【易错点 2】忽略数据本地化配置对性能的影响。
  11. 【易错点 3】认为 Spark 只能读取文本文件，不支持其他格式。