请描述 MapReduce 中排序和分区在 Shuffle 阶段的协作机制，并说明可以从哪些方面优化排序和分区的性能？

回答思路

1. 【回答框架 1】分区决定每个键值对进入哪个 Reduce 任务，默认使用 HashPartitioner，根据键的哈希值对 Reduce 数量取模，保证相同键进入同一分区。排序则发生在 Map 端和 Reduce 端：Map 端会按分区和键对输出进行排序，Reduce 端会对从多个 Map 任务拉取的数据进行归并排序。
2. 【回答框架 2】两者协同的关键在于，Map 端排序时会将键按分区号排序，确保每个分区的数据按键有序，这为 Reduce 端的归并排序提供了便利，减少了排序开销。分区是第一步，排序发生在分区内部，最终每个 Reduce 任务收到的数据是其分区内的有序序列。
3. 【回答框架 3】优化排序和分区性能可以从几个方面入手：调整 Map 端缓冲区大小和溢写阈值，减少溢写次数；使用 Combiner 在 Map 端进行局部合并，减少传输数据量；根据数据分布自定义 Partitioner，避免数据倾斜；适当增加 Reduce 数量以提高并行度，但需权衡小文件等问题；对于排序，如果业务不需要全局有序，可以只保证分区内有序，甚至使用快排等算法优化。
4. 【关键点 1】分区决定数据流向，排序保证每个分区内有序。
5. 【关键点 2】默认分区器 HashPartitioner 按哈希取模，相同键落入同一分区。
6. 【关键点 3】Map 端排序基于分区和键，Reduce 端归并排序。
7. 【关键点 4】优化手段包括缓冲调整、Combiner、自定义分区、Reduce 数量等。
8. 【易错点 1】不要认为分区和排序无关，分区是排序的前提。
9. 【易错点 2】过度增加 Reduce 数量可能导致小文件过多和调度开销。
10. 【易错点 3】全局排序是昂贵的，通常只保证分区内有序。