我要招人

数据岗位面试题更新 2026-08-05

在 Presto 中，有哪些方法或策略可以提升数据聚合操作的效率？

数据性能优化技术原理Presto

考察说明

考查候选人对 Presto 架构的理解以及数据聚合场景下的性能优化能力。

回答思路

  1. 【回答框架 1】Presto 是一个分布式 SQL 查询引擎，聚合操作主要通过 MapReduce 风格的阶段（Stage）完成，包括局部聚合（Partial Aggregation）和最终聚合（Final Aggregation）。高效聚合的关键在于减少数据传输和利用并行计算。
  2. 【回答框架 2】首先，利用 Combine 操作：Presto 支持在 Map 端进行部分聚合，将中间结果合并后再传输到 Reduce 端，减少网络开销。使用 `GROUP BY` 时，Presto 会自动进行部分聚合，但可以通过调整 `task_concurrency` 和 `task_writer_count` 等参数优化。
  3. 【回答框架 3】其次，合理使用近似聚合函数，如 `approx_distinct` 代替 `count(distinct)`，可大幅减少内存和计算量，尤其适用于大基数字段。另外，使用 `approx_percentile` 代替精确百分位计算。
  4. 【回答框架 4】在数据模型层面，可通过预聚合（如使用物化视图或预计算汇总表）来减少查询时的计算量；或者对数据进行分区、分桶，使聚合在局部完成，减少 Shuffle 数据量。
  5. 【回答框架 5】此外，注意查询写法：避免使用 `SELECT DISTINCT` 替代 `GROUP BY`；使用 `GROUP BY` 的字段顺序与谓词下推结合，利用分区裁剪；避免在 `HAVING` 中使用别名，确保下推优化。
  6. 【关键点 1】Presto 通过多阶段聚合（部分聚合+最终聚合）减少数据传输。
  7. 【关键点 2】使用近似函数如 `approx_distinct` 可大幅降低资源消耗。
  8. 【关键点 3】预聚合和分区裁剪是提升聚合效率的有效手段。
  9. 【关键点 4】合理配置参数如 `task_concurrency` 可优化并行度。
  10. 【易错点 1】不要误认为 `count(distinct)` 总是必要的，近似函数在多数场景下足够。
  11. 【易错点 2】不要忽略 `GROUP BY` 字段顺序对分区裁剪的影响。
  12. 【易错点 3】避免过度使用预聚合导致数据新鲜度问题。