请说明 Spark SQL 中 Tungsten 优化主要做了哪些方面的改进，并解释这些改进在哪些环节发挥了作用，进而带来整体性能的提升？
考察说明
考查对 Spark SQL 执行引擎底层物理优化机制的理解，尤其是内存管理和代码生成对性能的影响。
回答思路
- 【回答框架 1】Tungsten 是 Spark SQL 为提升性能而设计的一套底层执行优化方案，核心思想是减少 JVM 对象开销、内存占用和计算过程中的序列化/反序列化成本，从而提升数据处理效率。
- 【回答框架 2】Tungsten 的主要关键点包括：第一，使用二进制格式管理内存数据，将数据以紧凑的字节数组存储在堆外或堆内内存中，避免 JVM 对象的额外头部信息和引用开销，并支持高效的字段访问和内存排序，减少了 GC 压力。
- 【回答框架 3】第二，引入手动内存管理机制，实现了自己的内存分配器，能够更好地控制内存使用，避免 OOM，并支持数据的缓存和复用，减少了临时对象的创建。
- 【回答框架 4】第三，通过全阶段代码生成（Whole-Stage Code Generation）将多个算子融合成一个 Java 函数，减少虚函数调用和中间数据的物化，充分利用 CPU 的寄存器，提升计算效率。
- 【回答框架 5】此外，Tungsten 还优化了网络和磁盘 I/O，例如使用高效序列化和压缩技术，减少数据在节点间传输和落盘的开销。这些优化针对 CPU 密集型任务和内存瓶颈问题，共同促成了 Spark SQL 在复杂查询下的性能显著提升。
- 【关键点 1】Tungsten 使用二进制内存格式和手动内存管理，减少 JVM 对象开销和 GC 压力。
- 【关键点 2】全阶段代码生成融合算子，减少虚调用和中间物化，提升 CPU 利用率。
- 【关键点 3】优化 I/O 和序列化，降低网络和磁盘开销。
- 【关键点 4】整体优化针对内存和 CPU 密集场景，实际提升幅度与数据分布和查询复杂度相关。
- 【易错点 1】不能认为 Tungsten 对所有查询都有同样的提升，在一些小数据量或简单查询下优化效果不明显。
- 【易错点 2】手动内存管理可能增加内存碎片和调优复杂度，配置不当会引发额外风险。