记录几个 Spark 概念

Application：用户构建在 Spark 上的程序，由集群上的一个 Driver 程序和多个 Executor 组成。

Driver Program：该进程运行应用的 main() 方法并且创建了 SparkContext。

Cluster Manager：一个外部的用于获取集群上资源的服务，如 Standlone Manager, Mesos, YARN。

Worker Node：任何在集群中可以运行应用代码的节点。

Executor：一个为了在 Worker 节点上的应用而启动的进程，它运行 Task 并且将数据保持在内存中或者硬盘存储。每个应用有它自己的 Executor。

Task：一个将要被发送到 Executor 中的工作单元。

Job：一个由多个任务组成的并行计算，并且能从 Spark Action 中获取响应（例如 Save，Collect）; 您将在 Driver 的日志中看到这个术语。

Stage：每个 Job 被拆分成更小的被称作 Stage（阶段）的 Task（任务）组，Stage 彼此之间是相互依赖的（与 MapReduce 中的 Map 和 Reduce Stage 相似）。您将在 Driver 的日志中看到这个术语。

打赏

微信

支付宝

用 微信 扫描二维码打赏

用 支付宝 扫描二维码打赏