是我对于协程的用法有误还是 http 请求本身就这么消耗资源

[just1]

原有的代码是爬虫，化简完代码是这样

import asyncio

import aiohttp


async def worker():
    while 1:
        try:
            async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=5)) as session:
                async with session.post('https://www.baidu.com') as r:
                    _ = await r.text()
        except RuntimeError:
            break


async def main():
    await asyncio.wait([worker() for _ in range(100)])


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())
    loop.close()

只需要不到 100 个协程，cpu 单核就可以 100%，是我对于协程有错误的理解吗，求指点

[xiaolinjia]

你这不是 100 个。是 100 x while 循环的次数个。

[arrow8899]

不是你这么用的。。。

[j0hnj]

百度要被你干死了……

[just1]

@xiaolinjia
@arrow8899
@j0hnj 求指点...实际工作的脚本应该是从 queue 获得目标 url，这里简化写成了死循环而已

[rimutuyuan]

```import asyncio

import aiohttp


async def worker(url):
try:
async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=5)) as session:
async with session.post(url) as r:
_ = await r.text()
except RuntimeError:
break


async def main():
urls = ["https://baidu.com", "https://baidu.com"]
await asyncio.wait([worker(url) for url in range(urls)])


if __name__ == '__main__':
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
loop.close()```

[Vibra]

@j0hnj 没有 ua 百度不会理你的

[just1]

@rimutuyuan 实际工作的脚本应该是从 queue 获得目标 url，这里简化写成了死循环而已

[crella]

如果你要爬取得网站网速快的话，那么平均每两次下载的时间间隔很小，而代码中又是 100 个 worker()，那么可以认为每两次下载时间没有空闲时间，cpu 的单核占用就是达到了 100%

[just1]

@crella #8 大概可能是这个情况，但是我的疑惑在于 http 会这么消耗 cpu 吗？运行时网络不过是大概 send340kb/s，recv900kb/s （不过小包比较多）
如果这样好像除了堆机器、开多进程，是不是没有办法优化了？

[silencefly]

如一楼的意思 是 100 个 job 一起跑 不是一个 job 跑 100 次

[just1]

@silencefly #10 就是 100 个 job 一起所以引入协程，不然一个个太慢了

[tolerance]

求教，写爬虫怎么才能不违法

[linvaux]

@tolerance 做搜索引擎，而且体量要很大的那种

[imn1]

如果用的是板载网卡，是需要 CPU 处理数据的
用那种死贵的独立网卡，可以卡内处理数据，省点 CPU

[msg7086]

这也不是 HTTP 啊，这明明是 HTTPS 啊，初始化 TLS 秘钥交换多次握手不要钱的啊……

[leer]

@tolerance 自己研究不违法，遵守爬虫协议

[lpts007]

@just1 你知道 while 1 的意思吗 死循环内异步 单核满载不是意料之中吗，跟 http 协议有什么关系？
再说你实际业务生产待爬 url 的速度 也不可能就是 while 1 吧。
注意点别人网站的承受能力，别一不小心搞成攻击了。

[BingoXuan]

https 需要消耗一定 cpu 资源去加解密的，而且你写的是 100x 的死循环请求。假如你一秒单线程能完成 10 次，那么实际就是 1000 次请求了。

你需要去掉 while 循环，通过 asyncio 创建 size 为 100 的 queue，不断从 queue 中获取任务，通过 futures 来设置 result 或者 error

[yzk66880]

你这 while 1 。。。

[just1]

@yzk66880 #19 怎么都不看题啊

[yucongo]

网上有个 limited_as_completed （ asyncioplus ）包，或许适应你要做的。limited_as_completed 的原始作者试过建议将 limited_as_completed 作为 asyncio 的内置标准函数，但好像不成功。