请解释 Spark Streaming 对实时数据流的处理流程是怎样的？
考察说明
考查对 Spark Streaming 实时处理机制的理解，包括数据接收、批处理、输出等环节。
回答思路
- 【回答框架 1】Spark Streaming 是构建在 Spark 核心之上的实时流处理框架，其核心抽象是离散化流（DStream），表示持续不断的数据流。DStream 本质上是一系列连续的 RDD，每个 RDD 包含一个时间窗口内的数据。
- 【回答框架 2】处理流程分为输入、处理和输出三个阶段。输入阶段通过接收器（Receiver）从数据源（如 Kafka、Flume、Socket）持续接收数据，并按设定的批处理间隔（如 1 秒）将数据划分为多个微批次（micro-batch），每个批次对应一个 RDD。
- 【回答框架 3】处理阶段中，Spark Streaming 将每个微批次作为一个 Spark 作业提交，利用 Spark 的算子（如 map、filter、reduceByKey）进行转换和计算。这些操作是批量执行的，因此能够获得 Spark 的高吞吐和容错能力。
- 【回答框架 4】输出阶段将处理结果写入外部存储（如 HDFS、数据库、Dashboard）。Spark Streaming 提供一次性语义（exactly-once）支持（结合数据源和输出操作），确保数据不丢失不重复。此外，DStream 支持窗口操作，可对一定时间范围内的数据进行聚合计算。
- 【回答框架 5】整个处理是准实时的，延迟取决于批处理间隔。与纯流处理（如 Flink）相比，Spark Streaming 以微批次方式实现流处理，吞吐量高但延迟较高。
- 【关键点 1】Spark Streaming 将实时流划分为微批次，每个批次对应一个 RDD，实现准实时处理。
- 【关键点 2】通过接收器从数据源持续接收数据，并按固定间隔生成批处理。
- 【关键点 3】利用 Spark 算子和容错机制处理数据，支持窗口操作。
- 【关键点 4】输出阶段支持一次性语义，确保数据可靠性。