在 Hadoop 集群部署中，实现跨数据中心容灾和备份通常采用哪些方法？请阐述其技术原理及常见实施方案。
考察说明
考查对 Hadoop 跨数据中心容灾备份架构的理解与实操经验。
回答思路
- 【回答框架 1】跨数据中心容灾的核心是数据异步或同步复制与故障切换。常见方案包括基于 HDFS 的 DistCp 定时复制、基于镜像或快照的备份，以及使用第三方工具如 Apache Falcon、Hive 元数据复制等。
- 【回答框架 2】HDFS 本身支持跨集群数据复制，例如通过 DistCp 进行周期性全量或增量备份，配合定时调度实现 RPO 目标。还可使用 HDFS 快照 (snapshot) 进行一致性备份，结合传输加密保证安全。
- 【回答框架 3】对于实时性要求高的场景，可采用 MirrorMaker 或类似工具实现数据流复制，但需考虑网络带宽和延迟。此外，可用集群间的 Federation 或 ViewFS 提供统一访问。
- 【回答框架 4】容灾切换需要配套元数据同步，例如 Hive Metastore 的复制、HBase 复制等。切换时需保证数据一致性，通常采用主备模式，通过 ZooKeeper 协调，避免脑裂。
- 【回答框架 5】设计时需明确 RPO 和 RTO 指标，权衡成本与性能。
- 【关键点 1】DistCp 是 HDFS 跨集群数据复制的常用工具。
- 【关键点 2】快照提供一致性与备份效率。
- 【关键点 3】实时复制需考虑网络延迟与带宽。
- 【关键点 4】元数据同步是容灾切换的关键。
- 【关键点 5】容灾方案需明确 RPO/RTO 并压测验证。
- 【易错点 1】仅复制数据文件而未同步元数据，导致切换后无法正常访问。
- 【易错点 2】忽略网络带宽限制导致复制延迟过高，影响 RPO。
- 【易错点 3】未处理数据一致性，如复制过程中的部分写入，导致数据损坏。