请说明在 Spark SQL 中创建 DataFrame 的几种常用方式，并阐述 DataFrame 与 RDD 在数据表示、性能优化和适用场景上的主要区别。
考察说明
考查对 Spark SQL 中 DataFrame 创建方式及其与 RDD 核心差异的理解程度。
回答思路
- 【回答框架 1】创建 DataFrame 的常用方式包括：从 RDD 转换，可通过隐式转换或显式调用 toDF 结合 schema 实现；从外部数据源读取，如使用 spark.read 读取 JSON、CSV、Parquet 等格式文件；通过编程方式指定 schema 构建 Row 和 StructType；以及从 Hive 表或 JDBC 数据源加载得到 DataFrame。
- 【回答框架 2】DataFrame 与 RDD 的核心区别在于数据表示：RDD 仅是分布式对象集合，元素类型为 Java/Scala 对象，不包含结构信息；DataFrame 以 Row 对象加 Schema 描述列名和类型，具有类似关系表的结构化视图。
- 【回答框架 3】性能优化方面，DataFrame 基于 Catalyst 优化器和 Tungsten 执行引擎，能够进行逻辑与物理优化、列式存储和代码生成，执行效率通常高于 RDD 的朴素 RDD 操作；RDD 则缺乏这层自动优化。
- 【回答框架 4】适用场景上，DataFrame 适合结构化和半结构化数据的复杂分析查询，易与 SQL 交互；RDD 更适合需要对数据元素进行底层函数式操作且不关心结构的场景，比如自定义复杂的非 SQL 逻辑。
- 【关键点 1】DataFrame 通过 Schema 提供结构化视图，RDD 无结构信息。
- 【关键点 2】创建 DataFrame 的常用途径：RDD 转换、外部数据源读取、编程式指定 Schema、Hive 表加载。
- 【关键点 3】DataFrame 利用 Catalyst 优化器和 Tungsten 提升性能，RDD 无此优化。
- 【关键点 4】DataFrame 易与 SQL 集成，RDD 更灵活但性能较低。
- 【易错点 1】不要把 DataFrame 视为类型安全的数据结构，其列操作错误在运行时才暴露。
- 【易错点 2】不要认为 RDD 一定比 DataFrame 慢，在特定场景下 RDD 的粗粒度操作反而开销更小，但多数情况下 DataFrame 性能更优。
- 【易错点 3】注意创建 DataFrame 时隐式转换和显式 Schema 的区别，避免因 schema 不一致导致运行时错误。