V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
jrw
V2EX  ›  分享创造

Aloha:一个分布式任务调度框架

  •  
  •   jrw · 2019-03-27 19:53:37 +08:00 · 2854 次点击
    这是一个创建于 2100 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Aloha 是一个基于 Scala 实现的分布式的任务调度和管理框架,提供插件式扩展功能,可以用来调度各种类型的任务。Aloha 的典型的应用场景是作为统一的任务管理入口。例如,在数据平台上通常会运行各种类型的应用,如 Spark 任务,Flink 任务,ETL 任务等,统一对这些任务进行管理并及时感知任务状态的变化是很有必要的。

    Aloha 的基本实现是基于 Spark 的任务调度模块,在 Master 和 Worker 组件的基础上进行了修改,并提供了扩展接口,可以方便地集成各种类型的任务。Master 支持高可用配置及状态恢复,并提供了 REST 接口用于提交任务。

    Aloha 现已在 Github 开源,项目地址: https://github.com/jrthe42/aloha。有关该项目的任何问题,欢迎各位通过 issue 和我进行交流。

    Aloha 的详细设计和实现

    3 条回复    2019-03-28 14:16:56 +08:00
    yjxkwp
        1
    yjxkwp  
       2019-03-27 22:16:03 +08:00
    名字有点暴力🤓
    crystom
        2
    crystom  
       2019-03-28 08:43:41 +08:00
    和上一代的 airflow 比怎么样
    thisisgpy
        3
    thisisgpy  
       2019-03-28 14:16:56 +08:00
    这个名字记得是一款基佬交友软件
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4220 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 04:09 · PVG 12:09 · LAX 20:09 · JFK 23:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.