在使用 Spark SQL 时，缓存（Cache）是如何提升查询性能的？请阐述其底层原理及适用场景。

回答思路

1. 【回答框架 1】Spark SQL 缓存通过将数据以列式存储格式（如 Parquet）存储在内存或磁盘中，避免了重复计算和磁盘 I/O。当查询访问同一数据集时，直接从缓存读取，减少执行时间。
2. 【回答框架 2】缓存机制的核心作用包括：1. 避免重复读取外部数据源；2. 减少重复的转换操作（如 filter、join）；3. 使用列式存储和压缩提高扫描效率；4. 支持跨查询复用，尤其适用于迭代式算法和交互式查询。
3. 【回答框架 3】使用缓存时，需注意缓存级别（如 MEMORY_ONLY、MEMORY_AND_DISK）和序列化方式。默认情况下，Spark 将数据以反序列化形式存储在内存中，但也可使用 Kryo 序列化以减少内存占用，代价是反序列化开销。
4. 【回答框架 4】缓存并非总是提升性能。若数据量远超内存，可能导致频繁的溢写和 GC 开销。因此，应通过 Spark UI 监控缓存命中率和执行计划，判断缓存是否有效。
5. 【关键点 1】缓存避免重复计算和 I/O，提升查询性能。
6. 【关键点 2】缓存采用列式存储和压缩，优化扫描效率。
7. 【关键点 3】适用场景：多次查询同一数据集、迭代式计算。
8. 【关键点 4】缓存可能导致内存压力增大，需合理选择缓存级别。
9. 【易错点 1】误认为缓存能自动提升所有查询性能，实际上数据量过大时可能适得其反。
10. 【易错点 2】忽略缓存的数据一致性问题，源数据更新后缓存不会自动刷新，需手动清理。
11. 【易错点 3】未考虑序列化方式，导致内存占用过高或反序列化开销增大。