后端岗位面试题更新 2026-08-05

请说明Flume或Spark中Shuffle的流程,并描述其关键步骤。

百度后端开发专业服务问题拆解技术原理

考察说明

考察对分布式数据Shuffle机制的掌握,尤其是数据分区、传输和聚合过程

回答思路

  1. 说明Shuffle的触发场景与数据分区逻辑
  2. 描述Shuffle Write端的数据分区、排序或合并步骤
  3. 说明Shuffle Read端的数据拉取、聚合和落盘细节
  4. 能指出中间结果的溢出与合并优化