可能是我没配对环境,反正 scrapy 现在用不了,就只能写正常脚本爬,除了加 time.sleep 还有啥注意事项啊,没用过几次 requests 库...
1
freeminder 2017-03-09 10:09:41 +08:00
换 UA ,有条件就换 IP ,最好把不是必要的 BS4 解析移出去,比如最终需要的那个页面先别做结构化解析,保留 html 就好。另外注意列表页的互斥,尽量在爬列表页的时候保证列表的内容也没什么重复最好。
|
2
chendajun 2017-03-09 10:30:32 +08:00
配置 scrapy 环境, linux 比 windows 简单些。
|
3
Akkuman 2017-03-09 23:48:53 +08:00 via Android
soup 解析,一般可以一行写完,用列表推导式
|