请解释 PySpark 的定义，并说明它通常被用于哪些类型的应用场景？

回答思路

1. 【回答框架 1】PySpark 是 Apache Spark 的 Python API，允许用 Python 编写 Spark 程序，利用分布式计算能力处理大规模数据。
2. 【回答框架 2】核心机制是将 Python 代码转换为 Spark 作业，通过 RDD 或 DataFrame 抽象进行分布式数据处理，支持内存计算和容错。
3. 【回答框架 3】主要应用场景包括大规模数据清洗与转换、ETL 流程、实时流处理（配合 Structured Streaming）、机器学习（通过 MLlib）以及图计算等。
4. 【回答框架 4】适用场景通常涉及数据量超过单机处理能力、需要分布式并行计算或与 Hadoop 生态集成的情况。
5. 【回答框架 5】选择 PySpark 时需考虑其与 Scala/Java API 的性能差异，以及 Python 生态（如 Pandas、NumPy）的集成便利性。
6. 【关键点 1】PySpark 是 Spark 的 Python 接口，用于分布式数据处理。
7. 【关键点 2】典型应用包括 ETL、大数据分析、机器学习管道和流处理。
8. 【关键点 3】它结合了 Spark 的分布式能力与 Python 的易用性。
9. 【易错点 1】不要将 PySpark 视为单机 Pandas 的替代品，其设计目标是大规模分布式计算。
10. 【易错点 2】注意 PySpark 的惰性求值和数据序列化开销，可能影响性能。
11. 【易错点 3】避免在 PySpark 中直接使用 Python 原生循环，应使用 DataFrame 或 RDD 操作。