请简述 MapReduce 中的分区器（Partitioner）的概念，并说明它在整个数据处理流程中承担哪些主要职责？

回答思路

1. 【回答框架 1】MapReduce 中的分区器是负责决定每个键值对（K2,V2）被发送到哪个 Reduce 任务的组件。它在 Map 端输出后、Shuffle 阶段前执行，通过计算键的分区号来划分数据。
2. 【回答框架 2】主要作用是将 Map 输出结果按键分区，使得具有相同键的所有数据都分配到同一个 Reduce 任务，从而保证每个键对应的所有值能被同一个 Reducer 一起处理。分区器也决定了 Reduce 任务的负载均衡，通常使用哈希函数对键的哈希值取模分区数，以均匀分布数据。
3. 【回答框架 3】分区器允许自定义，例如实现按特定业务规则分桶，或实现二次排序时对复合键的分区，但默认行为是保证相同键的数据进入同一分区。分区数量应与 Reduce 任务数量匹配，否则可能导致某些 Reduce 空闲或过载。
4. 【关键点 1】分区器在 Map 端后对键值对进行分区，决定其所属的 Reduce 任务。
5. 【关键点 2】相同键的数据必须进入同一个分区，以保证归约正确性。
6. 【关键点 3】分区器影响 Reduce 任务负载均衡，常用哈希取模实现。
7. 【关键点 4】自定义分区器可实现额外业务逻辑，但分区数需与 Reduce 数匹配。
8. 【易错点 1】不要将分区器与分组比较器混淆，分区决定数据流向，分组决定归约时键的分组。
9. 【易错点 2】不要认为分区器能保证全局有序，它只保证分区内有序性需额外排序。
10. 【易错点 3】注意自定义分区器时分区数不能大于 Reduce 任务数，否则产生空分区。