最近试了试一个新的框架 fastAPI,传说可做到到万级的 qps,想先在 win10 上试试,本来以未比不上 linux 应该还凑合吧,跟着教程搭起来了,啥都不说先来个 hello world 吧,跟 flask 本质上区别不大。
from fastapi import FastAPI
app = FastAPI()
@app.get("/")
def read_root():
return "Hello World"
结果并发一打就死了,秒内并发超过 510 直接就崩了,崩的非常稳定,一超 510 必崩,一次都不含糊。
错误信息如下:
Process SpawnProcess-1: Traceback (most recent call last): File "d:\python37\lib\multiprocessing\process.py", line 297, in _bootstrap self.run() File "d:\python37\lib\multiprocessing\process.py", line 99, in run self._target(*self._args, **self._kwargs) File "d:\python37\lib\site-packages\uvicorn\subprocess.py", line 61, in subprocess_started target(sockets=sockets) File "d:\python37\lib\site-packages\uvicorn\main.py", line 382, in run loop.run_until_complete(self.serve(sockets=sockets)) File "d:\python37\lib\asyncio\base_events.py", line 566, in run_until_complete self.run_forever() File "d:\python37\lib\asyncio\base_events.py", line 534, in run_forever self._run_once() File "d:\python37\lib\asyncio\base_events.py", line 1735, in _run_once event_list = self._selector.select(timeout) File "d:\python37\lib\selectors.py", line 323, in select r, w, _ = self._select(self._readers, self._writers, [], timeout) File "d:\python37\lib\selectors.py", line 314, in _select r, w, x = select.select(r, w, w, timeout) ValueError: too many file descriptors in select()
重点就是最后一句。
# ValueError: too many file descriptors in select()错误和解决
上面说 “因为 asyncio 内部用到了 select,而 select 就是系统打开文件数是有限度的,这个其实是操作系统的限制,linux 打开文件的最大数默认是 1024,windows 默认是 509,超过了这个值,程序就开始报错, 下面的代码一次性将处理 url 的函数作为任务扔进了一个超大的 List 中,这就引起了错误。”
上面的解决方法是用 asyncio.Semaphore(500)限制协程并发数,但说的是爬虫,服务端直接这样设定是没用的,StackOverflow 大多说的也是这个。
"假如你的并发达到 2000 个,程序会报错:ValueError: too many file descriptors in select()。报错的原因字面上看是 Python 调取的 select 对打开的文件有最大数量的限制,这个其实是操作系统的限制,linux 打开文件的最大数默认是 1024,windows 默认是 509,超过了这个值,程序就开始报错。这里我们有三种方法解决这个问题:
1.限制并发数量。(一次不要塞那么多任务,或者限制最大并发数量)
2.使用回调的方式。
3.修改操作系统打开文件数的最大限制,在系统里有个配置文件可以修改默认值,具体步骤不再说明了。
不修改系统默认配置的话,个人推荐限制并发数的方法,设置并发数为 500,处理速度更快。"
其中第三点说可以改配置,我搜了半天也找不到这配置在哪改,网上有几个提到改注册表的,但试过了都没用,而且应该不是一回事。
根据最大打开文件数,又找到了一个 c 的解决方案,于是我试着引了一个 c 扩展执行,想着就觉得没用,事实也没用。
c:
void set_max_stdio()
{
printf("%d \n", _getmaxstdio()); // 默认输出 512
_setmaxstdio(2048); // 如果设定值大于 2048,就会变回 512
printf("setmaxstdio: %d \n", _getmaxstdio()); // 正常会输出 2048
}
python:
from ctypes import cdll
cdll.LoadLibrary("./setmaxstdio.so").set_max_stdio()
# 会正常打印 2048,但对并发限制没有影响
Google,GitHub 和 StackOverflow 也找不到解决方案,当然大概率是因为英语太菜,找不到关联信息,
所以问问大佬这个 select 的问题在 win10 里有没有可能解决,发出来大家讨论讨论。
谢谢大佬们的积极回应,学习了很多。
set_event_loop(ProactorEventLoop())
可以解决select报错的问题。
不说了,我开Linux去了。
1
lithbitren OP 服务端的代码粘错了,函数前面少了个 async,不过测起来都是一样的。
|
2
ClericPy 2020-03-15 23:00:04 +08:00
linux 上经常遇到超过最大 fds 数量, 得改内核配置 ulimit 什么的
Windows... 何必要用这玩意做生产环境呢, 搜搜 Windows 怎么提高默认最大 file handles 或者 file descriptors 吧... 老早以前还真找过, 忘了什么结果了, 最后被友军劝退别用 Windows |
3
lithbitren OP @ClericPy 不是生产环境,就是当玩具试试而已,开 windows server 被劝退太正常了 [捂脸]
|
4
zhuangzhuang1988 2020-03-15 23:31:00 +08:00
用 uvloop 试试呗,
本身 select 就不生产环境的 |
5
unixeno 2020-03-16 01:14:21 +08:00 via Android
Windows 可能得换 iocp ?
|
6
geelaw 2020-03-16 05:15:23 +08:00 via iPhone
为什么不搜索一下呢?
https://stackoverflow.com/questions/870173/is-there-a-limit-on-number-of-open-files-in-windows C 运行时默认会限制最多同时有 512 个流式访问的 FILE,以及最多同时有 8192 个文件描述符,超过该限制则需要使用 Win32 CreateFile 系列 API,而一个进程可以同时使用的文件句柄数量的最大值至少是 16384。 |
7
wwqgtxx 2020-03-16 06:27:55 +08:00 via iPhone
自己把 asyncio 的 loop 换成 ProactorEventLoop 的即可,或者升级到 python3.8 默认就是这个
楼上说 uvloop 的难道不知道 uvloop 根本就不支持 windows 么… |
8
wwqgtxx 2020-03-16 06:33:17 +08:00 via iPhone
当然,还有些比较麻烦的办法解决(我自己干过)
用 ctypes/cffi 加载一个 c 库 wepoll ( github 上有源码,可以自行修改后编译成 dll ) 然后基于 wepoll 的 api 写一个 Selector ( selector 包源代码里有 epoll 的 selector,可以拷贝出来,让其调用 wepoll ),在加载 asyncio 前设置为默认 Selector |
9
Trim21 2020-03-16 07:20:50 +08:00 via Android
试试 uvicorn 的限制并发的参数?
|
10
Mithril 2020-03-16 09:45:02 +08:00 3
拿为 Linux 设计的东西往 Windows 上套,然后怪 Windows 垃圾。。。
|
11
lithbitren OP @geelaw 为什么不好好看一下主楼的帖子? stackoverflow 这帖子我早看了,问题是发现了,但没有可靠的解决方案,我写了 c 扩展不行,后面在 pywin32 模块里面也找到了这个函数也没用。
|
12
lithbitren OP @wwqgtxx 这个我之前也试过了。
from asyncio import ProactorEventLoop, get_event_loop from uvicorn import Config, Server, run loop = ProactorEventLoop() config = Config(app=app, loop=loop) server = Server(config=config) loop = get_event_loop() loop.run_until_complete(server.serve()) 没用,我的环境是 3.7,升到 3.8 有一堆库用不了,于是又降回来了,迟早要升的,不过不是现在。 |
13
lithbitren OP @Trim21 不太懂,设了 ProactorEventLoop 似乎没用
|
14
lithbitren OP @Mithril 手头上只有 win10,我也明白大部分服务都是为 linux 设计的,但我上 fastAPI 的官网明明也是说支持 win 的,我按照教程完整走了一遍,其他都没啥大问题,就是这个并发数在 win 上不行,我在 GitHub 的官方社区问过,contributor 也没能解决这个问题。
|
15
CallMeReznov 2020-03-16 14:17:19 +08:00
LINUX 可以修改这个参数,可以修改到 1024 或者更多.
但 WINDOWS 好像就没有办法了,就是 512. 我之前尝试在 windows 上用 haproxy,就因为这个限制了并发而放弃,后来也没有深究. |
16
lithbitren OP @wwqgtxx wepoll 我研究研究看看,c 我只会写算法,底层太菜了。
|
17
geelaw 2020-03-16 14:23:20 +08:00
@lithbitren #11 在 #6 暗示的答案就是使用 CreateFile 系列 API 而不是用 C 运行时的文件。你的贴子并没有表现出你知道 CreateFile 限制更少。
另外一个很自然的问题是:你的 C 扩展使用的 C 运行时是 Python 的那一个,还是它有自己的 C 运行时?如果 C 扩展改变的是自己的运行时的设置,当然对 Python 不会有改变。 |
18
lithbitren OP 现在的绥靖方案是 Nginx 加多进程,也可以达到每秒 qps 过千,本机服务基本可以做到全 200,fastAPI 作为 python 框架还是挺快的,其他 py 框架在 cpython 上运行很难达到这个速度。
|
19
lithbitren OP @geelaw 一开始确实是不知道,后来试过了就知道在 Python 程序里直接运行这个是没用的,还请大佬明示在哪设置可以作用到 Python 的运行上。
|
20
yulon 2020-03-16 14:46:26 +08:00 1
不管是 Win 还是 Linux,用 select 就是玩具,不要在玩具上浪费时间
|
21
ysc3839 2020-03-16 15:01:35 +08:00
@lithbitren #12 所以你改用 ProactorEventLoop 之后遇到了什么问题?错误信息?
|
22
lithbitren OP @ysc3839 就是并发高的时候还是主楼那个 select 错误一模一样的,没有其他错误信息。
|
23
ysc3839 2020-03-16 15:04:43 +08:00
@lithbitren 一模一样的话说明还用的是 select 吧?
|
24
lithbitren OP @ysc3839 嗯,我也不懂怎么不用 select,可能是框架的问题,这框架我才上手一天多,源码还没下决心去看。。
|
25
Mithril 2020-03-16 17:47:20 +08:00
@lithbitren Windows 和 Linux 用来支持高性能 IO 的接口设计模式是不一样的。所以很多库没法同时支持这两个系统,或者同时在这两个系统上达到最高的性能。顶多就是两边都能用而已。用一种模式模拟另一种总会有很多的妥协。
|
27
wwqgtxx 2020-03-16 18:39:47 +08:00 via iPhone
@loqixh 我说的是 uvloop,你确定 uvloop 支持 win 了么,还是说你说的是 libuv ?
https://github.com/MagicStack/uvloop/issues/14 |
28
wwqgtxx 2020-03-16 18:42:09 +08:00 via iPhone
@lithbitren 按说如果你改用 ProatorEventLoop 之后还出现一样的问题肯定是修改 loop 没生效你再好好的检查你的代码吧
|
29
lithbitren OP @wwqgtxx
按官方教程是用命令行启动 uvicorn 的,后来去了 Github 问了,考虑到要改东西,所以改成用 if main 启动了,测试过其他状态都正常,仍然是只有并发数顶死 510,就这么简单的代码,我也不晓得该咋改了。 ====main.py==== from asyncio import ProactorEventLoop, get_event_loop from uvicorn import Config, Server from fastapi import FastAPI app = FastAPI() @app.get('/') async def index_post(): ㅤreturn 'hello world' if __name__ == "__main__": ㅤserver = Server( ㅤㅤconfig=Config( ㅤㅤㅤapp=app, ㅤㅤㅤloop=ProactorEventLoop() ㅤㅤ) ㅤ) ㅤget_event_loop().run_until_complete( ㅤㅤserver.serve() ㅤ) |
30
lithbitren OP @wwqgtxx 这个方法是 Github 的 contributor 教的,最后他说 honestly I dont know 了。
|
31
black11black 2020-03-16 19:31:44 +08:00
你不了解多路复用机制在这里问这些别人很难回答你...
所有声称异步框架性能测试 100%基于 linux,你一定说我就要 windows,那答案就是简单的没办法。select 由于轮寻机制即时解锁 fd 上限性能一样会挂,win 下 iocp 在 py 内目前没有生产级封装。 |
32
Qzier 2020-03-16 19:36:41 +08:00 1
if sys.platform == 'win32':
loop = asyncio.ProactorEventLoop() asyncio.set_event_loop(loop) else: loop = asyncio.new_event_loop() asyncio.set_event_loop(loop) |
33
Qzier 2020-03-16 19:37:10 +08:00 1
|
34
lithbitren OP @Qzier 谢谢大佬指点,qps 虽然上不去,但不会崩了。
|
35
lithbitren OP @black11black 嗯啊,是不太了解机制,只会一些应用,没有说一定要用 win10,只是碰到了问题,搜不出答案,所以拿出来讨论讨论,学习一下。
|
36
v2eeeeee 2020-03-16 19:53:08 +08:00
请教下大佬们
网络流的高并发,单机做到万级的 qps,是因为网络流由 "有限的进程" 维护对吗? (不是一个进程维护一个网络流这样?如果是那样,万级 qps 不得有万级进程来维护? linux 的 max user processes 也吃不消吧 |
37
lithbitren OP @Qzier ...不好意思,我傻-逼了,刚刚可能是卡了,访问功率低了,重启了以后访问功率超过 510,还是不行,还是会爆 select 错。。。
|
38
black11black 2020-03-16 20:12:53 +08:00
@lithbitren 你不了解机制,最好的解决办法就是装 linux,windows 的中断嵌套机制与 linux 各有取舍,就不是为网络服务设计的。装了 linux 你随意使用 epoll,uvloop 随便装,哪像 windows 这样缩手缩脚。系统级事务切换耗时的数量级也不一样。之前有过测试,自建事件循环,同样的 py 代码,即时只封装生成器做简单的事务切换,win 与 linux 的耗时表现也是完全不同
|
39
lithbitren OP @Qzier 没事了没事,是我搞错了,还是可以的,我傻-逼*2
|
40
lithbitren OP @black11black 嗯,说的有道理,还是 Linux 做服务稳定,遇到问题也好解决。
|
41
janxin 2020-03-16 20:43:02 +08:00
Windows 是事件循环实现的问题导致的,测试需要在 Linux 下进行,Mac 下的性能也不如 Linux
|
42
janxin 2020-03-16 20:46:17 +08:00 1
|
44
roundgis 2020-03-17 00:30:55 +08:00
windows 有个宏叫 FD_SETSIZE cpython 设置为 512, 你可以手动改大一些,例如 16384 之类就可以支持更大的并发了
当然 windows 最好的还是用 IOCP |
45
lithbitren OP @roundgis FD_SETSIZE 怎么改啊,大佬明示。
|
46
ysc3839 2020-03-17 02:10:13 +08:00
@lithbitren 写在系统头文件里面的,改了要重新编译。
|
47
msg7086 2020-03-17 04:54:30 +08:00
三个系统的事件接口都不一样,Windows 下是 IOCP,Linux 下是 epoll,BSD 下是 kqueue,生产环境下肯定要看是否支持这个系统的 API。如果你的运行环境只支持 epoll,那 Windows 和 BSD 下就只能降级运行了。
|
49
roundgis 2020-03-17 14:48:04 +08:00
@lithbitren cpython 我记得没错 select module 重新编译就好了
|
50
lithbitren OP @roundgis 我也不是想当伸手党,不过重新编译 cpython 这真不太懂,也找不到清晰的教程,select 模块我也找不到在 python 根目录的对应文件,怕乱搞搞崩了。。
|
51
lithbitren OP 确认了一下,uvicorn 在参数设置里可以把 loop 设置为 uvloop 和 iocp,不过这两个选项在 windows 里都不支持,只支持 auto 的 asyncio。
|
52
ruanimal 2020-03-20 15:04:05 +08:00
lz 探索操作系统的精神值得肯定,学习框架的效率就不行了
|
53
lithbitren OP @ruanimal 过完了一遍才测性能的,web 框架大体都是相通的,过一遍文档了解 API 的存缺情况就差不多了,而且一般也不会拿纯 win 做生产环境,这种问题在框架里一般也很难碰上。
|