推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
scrapy-redis 的 start_urls 添加很多个,怎么做便捷?
HGladIator · 2017-05-26 10:05:41 +08:00 · 4471 次点击这是一个创建于 2767 天前的主题，其中的信息可能已经有所发展或是发生改变。
scrapy-redis 的 start_urls 需要去 redis 添加,可是当添加多个 url 的时候很麻烦,有没有方便的做法
11 条回复 • 2017-05-26 11:46:56 +08:00
 |
1
PythoneerDev6 2017-05-26 10:09:49 +08:00
麻烦之处 在哪
|
 |
2
qsnow6 2017-05-26 10:11:31 +08:00
start_requests
|
 |
3
knightdf 2017-05-26 10:19:35 +08:00
同问怎么麻烦？虽然没用 scrapy-redis
|
 |
4
HGladIator OP @PythoneerDev6 #1
@knightdf #3 需要很长一串啊 一个一个加进去 比如我有 50 个页码怎么加 ``` 127.0.0.1:6379> lpush yourspider:start_urls https://www.v2ex.com/t/363913 ``` 这样的 url 不是要写 50 个? |
|
5
HGladIator OP @qsnow6 #2 这个写在 spider 里面吗
|
|
6
knightdf 2017-05-26 10:50:04 +08:00
@HGladIator 循环啊，你是手动加的么？直接写个 py 脚本不一下加进去了
|
|
7
HGladIator OP @knightdf #6 我才不会手动呢,我想着应该会有更便捷的高级方法
|
|
8
HGladIator OP 我还是老老实实写脚本吧
|
 |
9
sunchen 2017-05-26 11:19:26 +08:00
start_requests 读文件
|
 |
10
shimmerh 2017-05-26 11:44:55 +08:00
大哥，你写个 python 脚本来导入这么难吗？
|
|
11
HGladIator OP @shimmerh #10 看这便捷的方法不是找到了吗, start_requests 读文件啊
|
Select Language