在使用 Spark SQL 处理 JSON 数据时，性能瓶颈通常出现在解析和序列化阶段。请阐述如何通过合理配置与代码优化来提升 JSON 数据的处理效率，并说明你所采用方案的局限性或注意事项。
考察说明
考查候选人对 Spark SQL 处理半结构化 JSON 数据的性能优化手段及其原理的理解。
回答思路
- 【回答框架 1】优化 JSON 解析的关键是减少解析开销和避免不必要的全量模式推断。Spark SQL 通过 DataSource V2 和 JSON 数据源提供的选项来控制解析行为，例如设置 enforceSchema 为 true 以强制使用明确指定的 schema，避免对每个文件进行推断，可显著提升性能。同时，指定 primitivesAsString 和 preferPrimitives 等选项可减少类型推断的复杂性。
- 【回答框架 2】在读取 JSON 时，利用 option 配置如 'multiline'（处理多行 JSON）、'allowComments' 或 'charset' 等，应根据数据格式精准开启，否则会增加解析开销。对于大量小文件，应使用 coalesce 或 repartition 控制分区大小，或使用文件合并机制，减少任务调度和文件打开成本。
- 【回答框架 3】查询优化角度，应利用 Spark SQL 的谓词下推和列裁剪功能。确保 JSON 数据经过一次解析后，以 Parquet 等列式存储格式保存为中间表，后续查询直接读取列式文件，避免每次重新解析原始 JSON。同时，使用结构化 API（Dataset）而非非结构化 RDD，让 Catalyst 优化器进行查询计划优化。
- 【回答框架 4】对于嵌套 JSON，合理使用 explode、get_json_object 等函数，注意避免在 where 条件中直接使用这些函数，因为它们会阻止谓词下推。应尽量在查询计划中提前过滤。另外，考虑使用 from_json 函数将 JSON 字符串转换为结构化列，以便后续高效处理。
- 【关键点 1】通过显式 schema 和 enforceSchema=true 避免重复 schema 推断，可显著减少解析开销。
- 【关键点 2】读取 JSON 时只读取所需的列（列裁剪），并利用谓词下推减少数据读取量。
- 【关键点 3】中转使用列式存储（如 Parquet）避免重复解析，是长链路查询的常用优化。
- 【关键点 4】对小文件进行合并或调整分区，以减少任务数量。
- 【关键点 5】避免在查询条件中滥用 JSON 解析函数，防止阻碍优化。
- 【易错点 1】错误设置选项可能导致解析失败或性能下降，如 multiline 误开会增加内存消耗。
- 【易错点 2】虽然优化了 JSON 解析，但忽略了 Shuffle 和磁盘 I/O 瓶颈，仍可能导致整体性能不佳。
- 【易错点 3】在未充分分析执行计划的情况下，过度优化 JSON 解析而忽略查询逻辑本身。