首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
推荐学习书目
›
Learn Python the Hard Way
Python Sites
›
PyPI
- Python Package Index
›
http://diveintopython.org/toc/index.html
›
Pocoo
值得关注的项目
›
PyPy
›
Celery
›
Jinja2
›
Read the Docs
›
gevent
›
pyenv
›
virtualenv
›
Stackless Python
›
Beautiful Soup
›
结巴中文分词
›
Green Unicorn
›
Sentry
›
Shovel
›
Pyflakes
›
pytest
Python 编程
›
pep8 Checker
Styles
›
PEP 8
›
Google Python Style Guide
›
Code Style from The Hitchhiker's Guide
V2EX
›
Python
请问 Django+Selenium+Requests+Chrome 的可以接受多个请求的爬虫程序该如何实现?
KevinBu
·
2019-01-08 15:43:57 +08:00
· 1523 次点击
这是一个创建于 1950 天前的主题,其中的信息可能已经有所发展或是发生改变。
目前使用 threading 创建多个线程,因为要使用帐号模拟登陆,所以帐号数就等于可创建线程数。
用 queue 分配任务队列,如果所有的帐号都处于使用状态,就.put 这个请求而不去执行爬虫,然后等一个线程爬取完毕就.get 一下继续爬,如此循环。
可能我描述的不大清楚,请问各位大佬有没有好的思路?
线程
爬虫
帐号
请求
2 条回复
•
2019-01-11 11:07:04 +08:00
1
ChangHaoWei
2019-01-08 17:31:39 +08:00
无语 涉及 celery + 线程池?
实测,谷歌浏览器同时在线个数为 60 个,,一般主机
2
15399905591
2019-01-11 11:07:04 +08:00
你把爬虫做成一个异步任务,一个接口接受任务,接受了任务就往队列推送一个任务,然后返回一个任务 ID,爬虫任务执行完了就把结果保存起来,再做一个接口查询爬虫的任务结果。
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2875 人在线
最高记录 6543
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms ·
UTC 14:46
·
PVG 22:46
·
LAX 07:46
·
JFK 10:46
Developed with
CodeLauncher
♥ Do have faith in what you're doing.