• 欢迎访问交通人网站!
  • 分享一款小游戏:信任的进化
  •    发表于3个月前 (06-26)  软件工具 |   抢沙发  16 
    文章评分 0 次,平均分 0.0

    Application:用户构建在 Spark 上的程序,由集群上的一个 Driver 程序和多个 Executor 组成。

    Driver Program:该进程运行应用的 main() 方法并且创建了 SparkContext。

    Cluster Manager:一个外部的用于获取集群上资源的服务,如 Standlone Manager, Mesos, YARN。

    Worker Node:任何在集群中可以运行应用代码的节点。

    Executor:一个为了在 Worker 节点上的应用而启动的进程,它运行 Task 并且将数据保持在内存中或者硬盘存储。每个应用有它自己的 Executor。

    Task:一个将要被发送到 Executor 中的工作单元。

    Job:一个由多个任务组成的并行计算,并且能从 Spark Action 中获取响应(例如 Save,Collect); 您将在 Driver 的日志中看到这个术语。

    Stage:每个 Job 被拆分成更小的被称作 Stage(阶段)的 Task(任务)组,Stage 彼此之间是相互依赖的(与 MapReduce 中的 Map 和 Reduce Stage 相似)。您将在 Driver 的日志中看到这个术语。

    打赏
    微信
    支付宝
    微信二维码图片

    微信 扫描二维码打赏

    支付宝二维码图片

    支付宝 扫描二维码打赏

      
     

    除特别注明外,本站所有文章均为交通人原创,转载请注明出处来自http://www.hijtr.com/spark-some-basic-conceptions/

    交通人博客是交通人工作室(JTR Studio)建立的交通人系列网站之一,是交通人工作室的主阵地,旨在整合和分享交通行业相关资讯,具体包括但不限于行业新闻、行业动态,以及行业相关规范、书籍、报告和软件等资源。

    发表评论

    表情 格式

    *

    暂无评论

    
    切换注册

    登录

    忘记密码 ?

    切换登录

    注册

    扫一扫二维码分享