请从 Project Tungsten 的角度，阐述 Spark SQL 在内存管理和 CPU 计算效率方面进行了哪些优化？
考察说明
考察对 Spark SQL 底层执行优化（Project Tungsten）的理解，包括其目标、关键机制和对性能的影响。
回答思路
- 【回答框架 1】Project Tungsten 是 Spark 在 1.5 版本引入的优化项目，核心目标是减少 JVM 对象开销和 GC 压力，提升 CPU 利用率和计算效率。它主要通过三个关键机制实现：内存管理、缓存友好的排序与聚合、代码生成。
- 【回答框架 2】在内存优化方面，Tungsten 引入基于内存的二进制存储格式（UnsafeRow），直接在堆外内存中管理数据，避免 Java 对象头和序列化开销。同时使用类似于操作系统页面的内存页分配，支持高效的内存复用和零拷贝操作。
- 【回答框架 3】在 CPU 优化方面，Tungsten 通过 全阶段代码生成（WholeStageCodegen） 将多个操作（如 filter、join）融合成单个 Java 函数，减少虚函数调用和中间数据往返；同时利用 手工编译的循环结构 提高缓存命中率，并优化了内存访问模式。
- 【回答框架 4】此外，Tungsten 还改进了排序和聚合算法，优先使用可排序的二进制数据作为键，支持缓存友好的排序（cache-friendly sort），并利用前缀比较等技巧减少比较次数。这些特性使得 Spark SQL 在复杂查询中吞吐量显著提升。
- 【关键点 1】Tungsten 的核心是内存管理和代码生成，减少 JVM 开销。
- 【关键点 2】UnsafeRow 二进制格式优化内存结构和访问。
- 【关键点 3】WholeStageCodegen 将多个算子融合为单个函数，减少调用开销。
- 【关键点 4】通过缓存友好的排序和聚合提升缓存利用率。
- 【关键点 5】Tungsten 使得 Spark 性能接近手写代码。
- 【易错点 1】Tungsten 并非适用于所有场景，复杂数据类型的重载或大量小对象可能导致失效。
- 【易错点 2】堆外内存管理可能导致 OOM 或内存泄漏风险。
- 【易错点 3】谨慎混淆代码生成与向量化执行：Tungsten 是代码生成，向量化是后续版本优化。