在 Apache Iceberg 中，针对小文件过多导致的查询性能下降问题，通常采取哪些优化手段？具体来说，Iceberg 是如何实现小文件合并，并借此提升查询性能的？
考察说明
考查对 Iceberg 小文件优化机制及其对查询性能影响的理解。
回答思路
- 【回答框架 1】小文件问题源于大量数据文件导致元数据膨胀和扫描开销增大。Iceberg 通过文件列表的元数据管理和合并机制来缓解。
- 【回答框架 2】Iceberg 的合并通常通过 Spark 或 Flink 的 rewriteDataFiles 操作，利用分区和排序策略将多个小文件重写为更大的文件，减少文件数量。
- 【回答框架 3】合并后可减少元数据操作和计划阶段的开销，提升查询速度，尤其是在扫描大量数据时。
- 【回答框架 4】此外，Iceberg 支持动态分区和文件剪枝，配合合并能进一步减少不必要的文件读取。
- 【回答框架 5】实际优化需结合数据写入频率和查询模式，平衡合并成本与性能收益，必要时设置定期合并任务。
- 【关键点 1】Iceberg 通过 rewriteDataFiles 合并小文件，减少文件数量。
- 【关键点 2】合并可提升元数据操作效率和查询扫描性能。
- 【关键点 3】优化需权衡合并成本与查询收益，并考虑数据写入模式。
- 【易错点 1】合并操作本身消耗计算资源，频繁执行可能影响写入性能。
- 【易错点 2】合并策略不当可能导致文件过大，影响并发读取效率。
- 【易错点 3】不应对所有表统一合并策略，需依数据特征定制。