多个起始 url 的时候,跑着突然 ip 被 ban 了,然后重新尝试该 url,因为爬取过会被记录,所以要设置dont_filter=true
让起始 url 默认不去重。
但是 scrapy_redis 起始就是我推到 redis 队列里面的 url,怎么对这些 url 设置不去重呢?
1
15399905591 2019-04-02 15:36:05 +08:00
你再 start_requests 方法里面推送不就好了么。
|
2
xiushenbuhuihui 2019-06-14 11:20:15 +08:00
@luanguang 您好,我把我的问题给你详细描述一下,请您帮我解决一下。
|
3
xiushenbuhuihui 2019-06-14 11:20:44 +08:00
@luanguang 用的是 crawlspider 爬取乐融商城全部的网站源代码
|
4
xiushenbuhuihui 2019-06-14 11:21:26 +08:00
@luanguang 但是爬取到 这一页面时,
|