我要招人

数据岗位面试题更新 2026-08-05

针对 Apache Kudu 的大规模数据存储需求，集群扩展通常采用哪些方式，请说明具体扩容机制、数据重新分布策略以及扩展过程中需要注意的约束或风险？

数据风险判断技术原理Apache Kudu

考察说明

考查候选人是否理解 Kudu 集群横向扩展的基本手段、数据再平衡机制以及运维限制。

回答思路

  1. 【回答框架 1】Kudu 的扩展主要通过增加 Tablet Server 节点实现，每个 Tablet Server 负责一组 Tablet（分区表），集群会自动将 Tablet 分布到所有可用节点上。扩容时先向集群添加新节点并进行配置，新节点会加入 Master 的元数据管理，之后部分 Tablet 会被迁移到新节点以均衡负载。
  2. 【回答框架 2】数据重新分布由 Kudu 内部的负载均衡器主动触发，它会根据 Tablet 数量和大小、节点资源等指标，将 Tablet 从过载节点复制并移动到空闲节点，期间保证副本数不变，因此扩展过程中读写服务不中断，但会消耗额外带宽和磁盘 IO。
  3. 【回答框架 3】扩展前需要评估存储与计算需求，合理规划分区键和初始分区数，因为 Tablet 的最小粒度是分区，分区数不会自动增加，后续只能通过手动重分区（如创建新表并迁移数据）来扩展并行度，这可能导致额外运维成本。
  4. 【回答框架 4】集群扩展存在一些约束，例如副本因子固定，扩展只增加容量和吞吐，不减少数据冗余；扩展速度受网络和磁盘性能限制，同时需监控 Master 和 Tablet Server 的负载，避免均衡器频繁迁移导致性能抖动。
  5. 【关键点 1】Kudu 通过增加 Tablet Server 节点实现水平扩展。
  6. 【关键点 2】扩展后负载均衡器自动迁移 Tablet 以平衡负载。
  7. 【关键点 3】分区数不会自动增加，扩展吞吐需手动重分区。
  8. 【关键点 4】扩展过程在线进行，但会消耗额外资源。
  9. 【关键点 5】扩展不改变副本因子，不影响数据冗余。
  10. 【易错点 1】不能将 Kudu 的扩展等同于自动增加分区数，分区粒度固定，需提前规划。
  11. 【易错点 2】扩展时忽略网络和磁盘 IO 瓶颈可能导致均衡期间性能下降。
  12. 【易错点 3】负载均衡器可能过度迁移，造成不必要抖动，需合理配置阈值。