V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
kkfnui
V2EX  ›  问与答

airflow 使用问题

  •  
  •   kkfnui · 2018-03-27 11:41:33 +08:00 · 2198 次点击
    这是一个创建于 2435 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前在论坛问过定时任务的监控问题,发现 airflow。

    现在要做数据清洗和数据挖掘的工作,发现 airflow 非常适合用来做调度。但是遇到一些问题:

    使用体验

    airflow 重启很慢,开始的时候总误认为服务没有启动成功

    问题

    在 airflow web 界面点击了 Run,但是 job 一直处于 running 状态

    比较费解,是按照 使用 Airflow 替代你的 crontab 的流程操作的。 不知道是不是有人也遇到过类似问题。

    服务上的两个进程也都正常运行

    [root@user_portrait 2018-03-26]# ps -aux | grep airflow
    airflow   9871  0.4  0.0 324724 55788 ?        S    02:23   0:22 /usr/bin/python2 /usr/bin/airflow scheduler
    airflow   9882  1.9  0.1 946824 78132 ?        S    02:23   1:31 /usr/bin/python2 /usr/bin/airflow webserver
    airflow   9908  0.0  0.0 318008 55220 ?        S    02:23   0:04 gunicorn: master [airflow-webserver]
    airflow  20250  2.7  0.1 1036560 75780 ?       Sl   03:38   0:02 [ready] gunicorn: worker [airflow-webserver]
    airflow  20273  3.8  0.1 1036560 75780 ?       Sl   03:39   0:02 [ready] gunicorn: worker [airflow-webserver]
    airflow  20366  7.0  0.1 1036560 73740 ?       Sl   03:39   0:02 [ready] gunicorn: worker [airflow-webserver]
    airflow  20516 25.7  0.1 1036560 73740 ?       Sl   03:40   0:02 [ready] gunicorn: worker [airflow-webserver]
    
    1 条回复    2018-11-21 07:41:39 +08:00
    OldPanda
        1
    OldPanda  
       2018-11-21 07:41:39 +08:00
    虽然过去了很久,不知道楼主定位到问题在哪里了吗?一直 running 的状态大概是因为 airflow 的前端不会自动刷新?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5634 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 07:24 · PVG 15:24 · LAX 23:24 · JFK 02:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.