问一下, 用 flask 做了一个接口, 接收请求生成一个 shell 任务,任务执行时间会很长, 所以不等待执行完成直接返回请求. 这个应该怎么实现呢? 有什么好的实践吗?

[aieike]

嗯, 已经了解要用到多线程或多进程.
主要是不知道有没有好的方法在 flask 里生成新的线程执行 shell

[sidegem]

celery ？

[kiwier]

发异步任务

[aieike]

@sidegem 这是个内部的接口, 只会有一个任务执行, 是不是有更简单的方法

[aieike]

@kiwier 这是个内部的接口, 只会有一个任务执行, 是不是有更简单的方法

[daocheng]

有，ThreadPoolExecutor

[ipwx]

你这需求建议用 SimpleHTTPServer 加 threading mixin 不要用 flask

[brucedone]

用 Process 这个类就可以啦

[fifa666]

可以用 threading 库啊，用别的线程去执行生成 shell 的代码。

[xpresslink]

在数据库里面放 2 个表
1 任务表，任务 ID + 任务结果
2 用户消息表
用户请求来了
先在任务表创建一个任务记录拿到任务 ID
开个线程去后台执行 shell 把任务 id 传过去，以便任务完成后按任务 id 把结果填回 任务表，
给用户消息表插条消息，放个链接用任务 id 去任务临时表取结果。

[aieike]

subprocess 可以生成一个新的进程执行 shell 吗

[SmartKeyerror]

线程或者进程开出去不就行了

[LightLolo]

创建一个新的线程去执行 shell 任务，当前线程返回执行完成。

[allenwuli]

我之前也碰到，我用的 django。业务场景跟你差不多，我后来用了类似 8 楼的方法。我单独开了个进程去查询数据库，没有想到其他的方法。

[misaka19000]

开个新线程不就可以了，问题在哪？

[lolizeppelin]

不要开线程去 直接 fork 两次 exec 就完事
你又不关心执行结果 不要开线程

[aieike]

@lolizeppelin 能说具体些吗?我没太懂, 怎么 fork 两次 exec

[labulaka521]

flask_rq2 可以说很简单了

[clino]

用 jenkins 调用

[aneureka]

@clino 用 rq，轻量级的很好用

[aneureka]

@clino 不好意思，我莫名其妙就回复到你了…

[lolizeppelin]

@aieike

自己 google 一下
你执行的 shell 函数,最终实现是 fork 了一次,阻塞 wait,所以卡住
改成 fork 两次,直接 os._exit(0), 给 pid 1 接管你的子进程就是
这和写守护进程的原理是一样的

所有的外部进程调用都是 fork exec 的组合,这是 linux 编程基础,只盯着 python 自然一头雾水

[tfdetang]

from concurrent.futures import ThreadPoolExecutor 这个应该是最简单的解决方案了，随便搜一下就知道怎么用

[aieike]

@labulaka521
@aneureka
好的我去了解一下这个扩展

[aieike]

@lolizeppelin 👌

[cigarzh]

fork and exec +1

[wzwwzw]

subprocess.Popen

[x66]

subprocess.Popen('/path/shell.sh')

[ytymf]

任务队列是正道，如果觉得 celery 麻烦，可以试试轻量化的 Huey，redis 默认配置就能跑

[nullboy]

https://zhuanlan.zhihu.com/p/30897711