Apache Iceberg 在分区演进与数据文件存储格式上采取了哪些具体设计，这些设计分别从哪些环节降低查询开销、提升扫描效率？

回答思路

1. 【回答框架 1】Iceberg 通过隐藏分区与分区演进机制优化查询：表写入时自动将分区值转换为分区目录，查询时利用元数据过滤分区，避免全表扫描；分区演进支持随时修改分区规则而无需重写历史数据，查询器按各分区历史规则匹配，减少不必要的文件读取。
2. 【回答框架 2】Iceberg 在数据文件层面使用列式存储格式（如 Parquet、ORC），配合统计信息（列最小值、最大值、空值计数）实现谓词下推，查询引擎可在读取文件前跳过不符合过滤条件的文件块，降低 IO 量。
3. 【回答框架 3】Iceberg 的元数据层（Manifest 文件）记录每个数据文件的列统计信息，查询计划器据此进行文件剪枝，只读取可能包含目标数据的文件；同时利用分区桶与排序布局，使文件内数据局部性更强，提升压缩率和扫描效率。
4. 【回答框架 4】当查询涉及全表或大量分区时，Iceberg 支持增量读取与快照隔离，避免重复扫描未变化数据；结合 z-order 或 sort 排序，聚类相关数据，减少扫描文件数并提升谓词下推效果。
5. 【回答框架 5】在真实项目中，可通过分区裁剪、文件剪枝和列剪枝三层优化叠加，显著降低查询延迟；实际收益取决于数据分布、写入模式以及查询过滤条件，需结合资源监控与执行计划验证。
6. 【关键点 1】隐藏分区使查询无需感知分区目录，自动按分区值过滤文件。
7. 【关键点 2】分区演进允许在线变更分区策略，旧数据仍按旧规则匹配查询。
8. 【关键点 3】列式存储与统计信息支持谓词下推与文件剪枝，减少 IO。
9. 【关键点 4】Manifest 元数据存储文件级统计，辅助查询计划器跳过无关文件。
10. 【关键点 5】实际优化效果需结合数据分布与查询模式，通过执行计划验证。
11. 【易错点 1】分区演进虽灵活，但过度频繁变更分区策略可能增加元数据复杂度与规划开销。
12. 【易错点 2】统计信息缺失或过旧会导致文件剪枝失效，需确保写入时及时更新统计。
13. 【易错点 3】仅依赖分区优化而不配合列裁剪或压缩，无法充分体现查询性能提升。