请解释 MapReduce 中 Combiner 的定义及其主要用途，并说明在哪些场景下应当使用 Combiner 以及使用时需要注意哪些问题？

回答思路

1. 【回答框架 1】Combiner 是 MapReduce 中运行在 Map 端（具体为每个 Map 任务执行完后）的一个可选优化组件，其本质是一个本地化的 Reducer。它接收 Map 输出的中间键值对，将具有相同 Key 的 Value 进行合并（如求和、取最大值等），以减少通过网络传输到 Reduce 端的数据量，从而提升作业性能。
2. 【回答框架 2】Combiner 的主要作用是在 Map 端进行局部聚合，减少 Shuffle 阶段的数据传输量，降低网络带宽消耗，并减轻 Reduce 端的计算压力。使用 Combiner 的前提是其业务逻辑必须满足结合律和交换律（如求和、最大值），因为 Combiner 只在每个 Map 任务内部执行，不同 Map 任务之间不会进行合并，因此最终结果正确性依赖于操作的可交换可结合性。
3. 【回答框架 3】适合使用 Combiner 的场景包括：当 Map 输出存在大量相同的 Key 且 Reduce 端需要对这些 Key 的值进行进一步聚合时，例如计算词频、统计数值总和、最大值最小值等。此外，当中间结果数据量较大，网络传输成为瓶颈时，使用 Combiner 能显著缩短作业执行时间。注意，若 Reduce 函数本身不满足结合律（如求平均值，需先计算总和与计数），则不可直接使用相同逻辑的 Combiner，但可通过自定义 Combiner 实现部分聚合。
4. 【回答框架 4】使用 Combiner 时还应关注其可能带来的额外开销，因为每个 Map 任务都会运行 Combiner，如果数据分布不均匀，可能导致 Combiner 处理时间增加，且如果大多数 Map 输出 Key 唯一，Combiner 收益较小。此外，Combiner 的执行次数可能不固定（Hadoop 可能执行一次或多次），因此要求 Combiner 的输入输出类型与 Reducer 兼容。在实际项目中，需结合具体数据特征和集群资源测试，以确定是否启用 Combiner 及设置合理的 Map 输出压缩等配套优化。
5. 【关键点 1】Combiner 是 Map 端的局部 Reducer，用于减少 Shuffle 数据传输量
6. 【关键点 2】适用场景为 Map 输出有大量相同 Key 且 Reduce 聚合满足结合律和交换律
7. 【关键点 3】求平均值不能直接使用同逻辑 Combiner，需用和为计数
8. 【关键点 4】Combiner 执行次数不固定，需保证输出类型与 Reducer 输入一致
9. 【易错点 1】错误地认为 Combiner 可对所有聚合函数安全使用，没有检查结合律交换律
10. 【易错点 2】忽略 Combiner 仅在本 Map 内合并，不能跨 Map 合并，导致结果不一致风险
11. 【易错点 3】未考虑 Combiner 执行次数不确定性，导致依赖执行次数的逻辑出错