针对 Hive 框架，处理数据量大且包含多表连接的复杂查询时，可以采取哪些性能调优策略？请列举并解释常用的优化方法。
考察说明
考察对 Hive 复杂多表查询性能优化的理解与实践经验。
回答思路
- 【回答框架 1】明确优化目标：提升查询执行效率、降低资源消耗。核心思路在于减少数据扫描量、优化连接策略、调整执行引擎配置以及合理设计表结构。
- 【回答框架 2】数据过滤与分区裁剪：尽早使用 WHERE 条件过滤数据，利用分区表按分区字段过滤，可显著减少扫描数据量。对于大表，可考虑使用 ORC 或 Parquet 列式存储格式，结合列裁剪只读取所需列。
- 【回答框架 3】连接优化：合理选择连接顺序，将小表放在前面（驱动表），大表放在后面。利用 MAPJOIN 提示（或自动优化）将小表加载到内存中，避免 Reduce 阶段的 shuffle。对于大表连接，可考虑使用 SMB 连接（Sort-Merge-Bucket），前提是表已经按连接键分桶且排序。
- 【回答框架 4】执行引擎与资源调优：根据环境选择合适的执行引擎（如 MapReduce、Tez、Spark），Tez 和 Spark 通常能提升性能。设置合适的并行度、容器内存和 CPU，避免数据倾斜。对于数据倾斜，可使用倾斜连接优化（如 Skew Join 或手动加盐）来均衡负载。
- 【回答框架 5】其他常用方法：使用近似计算（如 approx_count_distinct）以减少精确计算开销；物化视图或中间表复用；优化 SQL 逻辑（如避免重复扫描同一张表）；合理设置 mapred.reduce.tasks 或 hive.exec.reducers.bytes.per.reducer 来控制 reducer 数量。
- 【关键点 1】分区裁剪和列裁剪是减少 I/O 的基础手段。
- 【关键点 2】MAPJOIN 适用于小表 join 大表，可显著减少 shuffle 开销。
- 【关键点 3】SMB 连接要求表分桶且有序，适合大表等值连接。
- 【关键点 4】Tez/Spark 引擎通常比原生 MapReduce 性能更好。
- 【关键点 5】数据倾斜可通过倾斜连接优化或加盐法缓解。
- 【易错点 1】不能盲目增加 reducer 数量，需根据数据量和资源合理设置。
- 【易错点 2】MAPJOIN 不适用于大表 join 大表，可能导致内存溢出。
- 【易错点 3】SMB 连接需确保分桶和排序正确，否则结果错误。