请解释Apache Iceberg在元数据扩展性与高并发查询场景下分别采用了哪些机制来应对挑战？

回答思路

1. 【回答框架 1】Iceberg的元数据扩展性核心在于其分层元数据模型：表通过元数据文件、清单列表和清单文件三层结构组织，数据文件统计信息（如列级统计、分区统计）存储在清单文件中，使得规划查询时仅需读取相关清单，避免扫描全量元数据，从而支撑海量分区和文件。
2. 【回答框架 2】高并发查询方面，Iceberg利用快照隔离机制，每次写操作生成新的元数据文件并原子切换当前快照指针，读操作基于已获取的快照版本执行，读写互不阻塞，天然支持多版本并发读。同时，元数据操作通过乐观锁（如基于版本号的CAS）保证并发写安全。
3. 【回答框架 3】对于高并发查询中的元数据瓶颈，Iceberg支持元数据缓存（如Catalog层缓存）和文件扫描的谓词下推，将过滤条件下推到清单层和文件层，减少需读取的数据文件数，并支持Z-Order或Bucket排序加速过滤。此外，可结合查询引擎（如Spark、Flink）的元数据同步策略优化。
4. 【回答框架 4】针对极端扩展性，Iceberg支持元数据删除（如Expire Snapshots）和元数据表（Metadata Tables）来管理历史版本，避免元数据无限膨胀，并支持基于S3等对象存储的高可用元数据存储，以支持更大规模表。
5. 【回答框架 5】整体而言，Iceberg通过设计上的分层与不可变元数据，以及快照隔离和统计信息下推，实现了面向云原生数据湖的扩展性与并发性能平衡。
6. 【关键点 1】Iceberg采用分层元数据模型（元数据文件、清单列表、清单文件）实现元数据扩展性。
7. 【关键点 2】快照隔离机制保证高并发下读写互不阻塞，读操作基于固定版本。
8. 【关键点 3】乐观锁（版本CAS）用于并发写安全，避免冲突。
9. 【关键点 4】清单层统计信息和谓词下推减少扫描数据量，提升查询并发效率。
10. 【关键点 5】支持快照过期和元数据清理控制元数据膨胀。
11. 【易错点 1】不能认为Iceberg的元数据扩展性自动保证查询性能，仍需合理分区和文件大小控制。
12. 【易错点 2】快照隔离不解决所有一致性问题，跨快照的写冲突仍需重试。
13. 【易错点 3】过度依赖元数据缓存可能导致数据新鲜度问题，需权衡缓存失效策略。