V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ufo22940268
V2EX  ›  编程

spark 在 cluster deploy mode 情况下, 怎么处理 job 之间的依赖

  •  
  •   ufo22940268 · 2018-12-18 09:31:37 +08:00 · 2559 次点击
    这是一个创建于 1928 天前的主题,其中的信息可能已经有所发展或是发生改变。

    比如用下面的方式提交任务:

    spark-submit --deploy cluster x.y.z a.jar
    

    提交任务完了之后,程序就回终止返回.然后让 driver 在 cluster 上继续执行 Job.

    问题

    假如说希望Job BJob A执行完成之后执行,并且依然用cluster deploy mode来提交任务,该如何做到呢?

    1 条回复    2018-12-18 15:33:34 +08:00
    B2
        1
    B2  
       2018-12-18 15:33:34 +08:00
    你将这两个 job 合成一个大的 job,提交一次不就可以了吗?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2455 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 15:55 · PVG 23:55 · LAX 08:55 · JFK 11:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.