请阐述 Hadoop 的 Shuffle 阶段在数据处理流程中承担哪些职责，并说明可以从哪些方面入手来优化该阶段的执行性能？

回答思路

1. 【回答框架 1】Shuffle 阶段位于 Map 和 Reduce 之间，负责将 Map 输出按 key 分区、排序、合并后传输给对应 Reduce 任务，是数据重分布的关键环节。整个过程包含 Map 端溢写、分区、排序、合并（combine）以及 Reduce 端拉取、归并排序合入 Reduce 输入。其核心目的是使相同 key 的数据汇聚到同一 Reduce 节点，以便执行聚合或连接操作。
2. 【回答框架 2】性能优化可从 Reduce 阶段调优和作业参数优化两方面入手。减少 Shuffle 数据量：设置 mapreduce.map.output.compress 为 true 且选择合适的压缩格式（如 Snappy）降低网络传输开销；合理设置 mapreduce.job.reduce.slowstart.completedmaps 使 Reduce 提前启动拉取部分数据，与 Map 并行。
3. 【回答框架 3】调整缓冲区大小：增大 mapreduce.task.io.sort.mb 减少小文件溢出次数，提升排序效率；调大 mapreduce.reduce.shuffle.parallelcopies 增加并行拉取线程数，或调整 mapreduce.task.io.sort.factor 提升合并效率。
4. 【回答框架 4】将 Combiner 设置于 Map 端不改变最终结果的前提下，预先合并相同 key 的局部数据量，减少传输数据量。选用数据本地性较好的调度器，使 Reduce 尽量从本地或近端节点拉取数据，降低网络传输开销。
5. 【回答框架 5】权衡实时性与吞吐量：若可接受降低可靠性，可考虑跳过部分排序或使用 MapReduce 的替代计算框架（如 Spark、Flink）以降低 Shuffle 成本；注意这些调整要与作业语义和容错需求匹配。
6. 【关键点 1】Shuffle 包括 Map 端分区、排序、溢写合并和 Reduce 端拉取、归并排序，核心是保证相同 key 的中间结果汇聚给同一 Reduce。
7. 【关键点 2】通过压缩中间输出、增大排序缓冲区、调整并行拷贝数和合并因子可显著降低 Shuffle 开销。
8. 【关键点 3】Combiner 可在 Map 端提前局部合并，减少传输数据量，适用于函数满足结合律和交换律的场景。
9. 【易错点 1】不能盲目增大缓冲区或降低并发，内存不足会引发溢写和 GC 压力，需结合集群资源实测调整。
10. 【易错点 2】Combiner 只用于优化，不能改变业务语义，需确保合并函数与 reduce 逻辑兼容，否则需谨慎使用。