后端岗位面试题更新 2026-08-05

假设两个表主键是非数值数据,而且是万亿行级别的 join(万亿 join 万亿),这个场景怎么处理?

淘天集团后端开发互联网/IT问题拆解系统设计方案权衡

考察说明

考察超大规模非数值键等值连接的架构选型与工程取舍

回答思路

  1. 说明非数值键(字符串等)的哈希分桶或排序策略
  2. 评估全量 join 的可行性,识别不可能逐行做内存计算的瓶颈
  3. 讨论预聚合、过滤、布隆过滤器或减少参与 join 数据量的方法
  4. 给出分布式方案(如 Spark、数据仓库、自研分桶)及通信开销控制
  5. 指出数据倾斜和键分布不均的应对