V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
kevinyoung
V2EX  ›  问与答

求一个 Linux 服务器上的程序提交和管理工具

  •  
  •   kevinyoung · 2015-04-22 13:07:42 +08:00 · 2469 次点击
    这是一个创建于 3537 天前的主题,其中的信息可能已经有所发展或是发生改变。

    做科研,需要在所里服务器上算一些东西。

    基本任务是同一个程序以不同的参数去跑。单个程序循环太慢,多进程的程序写起来太麻烦,所以一般为了利用服务器核多的优势都是直接以不同的参数多提交一些进程上去。

    数量少一点还好说,但有时候要提百十来个程序的话手动就很蛋疼了。所以想求一款程序提交的工具。

    现在能想到的解决方案是bash脚本,不过这东西用的不熟,感觉非常不靠谱,如果能有现成的工具或者框架那是最好了。

    先谢谢了!

    第 1 条附言  ·  2015-04-23 01:12:38 +08:00
    感谢朋友们的帮助,我想GNU parallel(地址: https://www.gnu.org/software/parallel/ )就是我想要的工具。

    另外功能类似的还有一个叫ppss的工具。
    8 条回复    2015-04-23 00:02:40 +08:00
    Septembers
        1
    Septembers  
       2015-04-22 13:49:51 +08:00   ❤️ 1
    xargs or parallel
    jokester
        2
    jokester  
       2015-04-22 13:56:37 +08:00   ❤️ 1
    有很多实验管理系统(experiment management system)
    但是如果bash也玩不转。。未必适合你
    pagxir
        3
    pagxir  
       2015-04-22 15:09:58 +08:00   ❤️ 1
    为什么我想到的是 gmake 的工具呢。。。 make -j${jobs} ... 同时利用多核心,并且。。。。
    fangjinmin
        4
    fangjinmin  
       2015-04-22 17:07:47 +08:00   ❤️ 1
    用shell是最简单的办法,而且容易管理。
    linhua
        5
    linhua  
       2015-04-22 17:31:11 +08:00   ❤️ 1
    bash或python都是可以的。
    kslr
        6
    kslr  
       2015-04-22 18:32:11 +08:00   ❤️ 1
    bash我感觉是最好的办法了,另外,你把多进程部分写成类调用.
    zsj950618
        7
    zsj950618  
       2015-04-22 19:05:58 +08:00   ❤️ 1
    kevinyoung
        8
    kevinyoung  
    OP
       2015-04-23 00:02:40 +08:00
    @jokester 感谢提醒。bash主要是不熟悉,另外也不想重复发明轮子了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2760 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 13:25 · PVG 21:25 · LAX 05:25 · JFK 08:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.