做科研,需要在所里服务器上算一些东西。
基本任务是同一个程序以不同的参数去跑。单个程序循环太慢,多进程的程序写起来太麻烦,所以一般为了利用服务器核多的优势都是直接以不同的参数多提交一些进程上去。
数量少一点还好说,但有时候要提百十来个程序的话手动就很蛋疼了。所以想求一款程序提交的工具。
现在能想到的解决方案是bash脚本,不过这东西用的不熟,感觉非常不靠谱,如果能有现成的工具或者框架那是最好了。
先谢谢了!
1
Septembers 2015-04-22 13:49:51 +08:00 1
xargs or parallel
|
2
jokester 2015-04-22 13:56:37 +08:00 1
有很多实验管理系统(experiment management system)
但是如果bash也玩不转。。未必适合你 |
3
pagxir 2015-04-22 15:09:58 +08:00 1
为什么我想到的是 gmake 的工具呢。。。 make -j${jobs} ... 同时利用多核心,并且。。。。
|
4
fangjinmin 2015-04-22 17:07:47 +08:00 1
用shell是最简单的办法,而且容易管理。
|
5
linhua 2015-04-22 17:31:11 +08:00 1
bash或python都是可以的。
|
6
kslr 2015-04-22 18:32:11 +08:00 1
bash我感觉是最好的办法了,另外,你把多进程部分写成类调用.
|
7
zsj950618 2015-04-22 19:05:58 +08:00 1
|
8
kevinyoung OP @jokester 感谢提醒。bash主要是不熟悉,另外也不想重复发明轮子了。
|