萌新请教一下 Python 应该如何并行地调用二进制文件?

[dysxjyy]

需要用 Python 调用一个用 C 写的仿真器做仿真，但是仿真器是单线程的，我希望能在服务器上并行。

目前我的办法是写了个脚本用 subprocess 去调用，然后开了好多个终端去执行这个脚本以达到并行的目的。想请教一下有没有更优雅的做法？

主要是 Popen 貌似有点问题，我是这样写的：

glps = list(filter(lambda x:'.glp' in x, os.listdir(rootpath+'outputs/')))
num_threads = len(glps)
cmd_list = [['python', 'lithosim_one.py', 'evaluation/lithosim%d/'%i, rootpath+'outputs/'+glps[i]] for i in range(num_threads)]
proc_list = [Popen(cmd, stdout=PIPE, stderr=PIPE) for cmd in cmd_list]
for p in proc_list:
    p.wait()

假如有 10 个文件要仿真，我的机器是 6 核，它会把 6 个仿完，剩下的 4 个就不继续了，主程序也没有结束。

————————————————————————————————————

百度找到问题了：

使用 subprocess 模块的 Popen 调用外部程序，如果 stdout 或 stderr 参数是 pipe，并且程序输出超过操作系统的 pipe size时，如果使用 Popen.wait() 方式等待程序结束获取返回值，会导致死锁，程序卡在 wait() 调用上。

解决方法：把wait()改成communicate()就可以了。

[no1xsyzy]

subprocess 了为什么要好多个终端？直接 Popen 一堆就行了。

[dysxjyy]

@no1xsyzy
主要是 Popen 貌似有点问题，我是这样写的：
``` python
glps = list(filter(lambda x:'.glp' in x, os.listdir(rootpath+'outputs/')))
num_threads = len(glps)
cmd_list = [['python', 'lithosim_one.py', 'evaluation/lithosim%d/'%i, rootpath+'outputs/'+glps[i]] for i in range(num_threads)]
proc_list = [Popen(cmd, stdout=PIPE, stderr=PIPE) for cmd in cmd_list]
for p in proc_list:
p.wait()
```
假如有 10 个文件要仿真，我的机器是 6 核，它会把 6 个仿完，剩下的 4 个就不继续了，主程序也没有结束。

[www5070504]

@dysxjyy 用线程行不 解释器锁会切换线程的

[haddy]

试试这个包。https://github.com/kennethreitz/delegator.py
如果觉得有用，可以点主页上的 saythanks.io 的链接对作者表示感谢。

[dysxjyy]

@www5070504 @haddy @no1xsyzy 问题解决了，感谢回复。