在实时分析场景中，Spark Streaming 与 Spark SQL 是如何协同工作的？请说明两者结合使用的具体方式与流程。
考察说明
考查对 Spark Streaming 与 Spark SQL 集成机制的理解，以及实时分析中如何利用 SQL 简化数据处理。
回答思路
- 【回答框架 1】Spark Streaming 是微批处理引擎，将实时数据流切分为小批次（micro-batch），每个批次对应一个 RDD。Spark SQL 提供 DataFrame/Dataset 和 SQL 接口，两者结合的核心是将流数据转换为 DataFrame/Dataset，再通过 SQL 或 DataFrame API 进行结构化查询。
- 【回答框架 2】具体结合方式：在 DStream 中，通过 foreachRDD 或 transform 操作，将每个批次的 RDD 转换为 DataFrame，注册为临时视图，然后执行 SQL 查询。例如，使用 spark.sqlContext.sql 或 spark.sql 对临时视图进行聚合、过滤等操作，实现实时分析。
- 【回答框架 3】另一种方式是使用 Structured Streaming（Spark 2.0+），它直接支持流式 DataFrame/Dataset，可基于事件时间处理、窗口操作，并支持流与静态数据的 join，以及流与流的 join。Structured Streaming 将流视为无界表，SQL 查询直接应用于流上，输出结果到 sink。
- 【回答框架 4】结合使用时需注意：DStream 方式需手动管理批次内数据转换，延迟相对较高；Structured Streaming 提供更高级的 API，支持 exactly-once 语义（配合 checkpoint 和幂等 sink），但需确保输出操作具备幂等性。
- 【回答框架 5】实际应用中，通常先使用 Structured Streaming 读取 Kafka 等数据源，定义 schema，然后使用 SQL 进行实时聚合、窗口计算，最后写入外部存储（如 MySQL、HDFS）或控制台。
- 【关键点 1】Spark Streaming 通过将 DStream 的 RDD 转换为 DataFrame 并注册临时视图，实现与 Spark SQL 的结合。
- 【关键点 2】Structured Streaming 将流视为无界表，直接支持 SQL 查询和窗口操作，是更推荐的实时分析方式。
- 【关键点 3】结合时需关注输出操作的幂等性，以保证 exactly-once 语义。
- 【易错点 1】不要将 DStream 与 Structured Streaming 混淆，两者 API 和语义不同。
- 【易错点 2】避免在 foreachRDD 中频繁创建 DataFrame 或注册视图，应复用 SparkSession。
- 【易错点 3】注意流式查询的 checkpoint 配置，否则故障恢复可能丢失数据或重复处理。