V2EX › xiushenbuhuihui 的所有回复

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2019-07-09 11:11:21 +08:00

使用 selenium 后将 scrapy 的异步模式改成了同步模式，保存到 item 会相对之前慢一些，让程序跑一会就有结果了

2019-06-14 13:42:43 +08:00

@fank99 您好，我把我的问题给你详细描述一下，请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码，但是爬取到精选配件页面（全部分类选项里面）时，由于商品（“比如：乐视蓝牙耳机”）的链接只是相对的，结果导致无法爬取商品页面源代码

2019-06-14 13:42:29 +08:00

@luanguang 您好，我把我的问题给你详细描述一下，请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码，但是爬取到精选配件页面（全部分类选项里面）时，由于商品（“比如：乐视蓝牙耳机”）的链接只是相对的，结果导致无法爬取商品页面源代码

2019-06-14 11:21:26 +08:00

@luanguang 但是爬取到这一页面时，

2019-06-14 11:20:44 +08:00

@luanguang 用的是 crawlspider 爬取乐融商城全部的网站源代码

2019-06-14 11:20:15 +08:00

@luanguang 您好，我把我的问题给你详细描述一下，请您帮我解决一下。

2019-06-14 11:17:39 +08:00

@luanguang 滨江租房子贼贵