请分别说明 Spark 中 Driver 和 Executor 的作用,以及它们之间如何协同工作。
考察说明
考察对 Spark 分布式执行架构的理解
回答思路
- 准确说明 Driver 的角色:运行用户程序主函数、创建 SparkContext、调度任务、管理 DAG 和任务分配
- 准确说明 Executor 的角色:执行具体任务、存储数据、向 Driver 汇报状态
- 能解释 Driver 与 Executor 的通信与任务分发机制
- 能说明两者故障的影响及基本恢复策略
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。