这段时间开发了一个动态可配置的爬虫网站 http://www.anycrawl.info,基于 scrapy,提供一些配置项,5 分钟就可生成一个通用爬虫,并可直接下载代码使用。
上 demo 和 截图
爬取豆瓣害羞组的帖子和图片: https://www.douban.com/group/haixiuzu/discussion
项目地址: http://www.anycrawl.info/project/15/

配置上图的选项后,即可下载爬虫源码使用
更多教程可参考这篇文章: https://zhuanlan.zhihu.com/p/31659456
|      1Lax      2017-12-04 12:31:52 +08:00 宣传的例子直接 17+ 啦 还有好多小学生,建议换个别的组 [正义脸 | 
|  |      2zqjilove      2017-12-04 14:38:48 +08:00 今天见到最亮的产品了 。 | 
|      3hwwh1999      2017-12-04 14:55:01 +08:00 收藏一个! | 
|      4mon3      2017-12-04 15:08:52 +08:00 看了这个小组之后对你的爬虫没兴趣了。 | 
|  |      5zirconium      2017-12-04 15:09:57 +08:00 via iPhone mark | 
|  |      7fhefh      2017-12-04 19:43:30 +08:00 今天看到另外一个帖子 也准备这么搞的 跟楼主想到一块去了 哈哈哈 | 
|  |      8feifan00x      2017-12-06 15:04:36 +08:00 看了这个小组之后对你的爬虫没兴趣了+1 | 
|  |      9feiniu      2017-12-06 17:03:23 +08:00 豆瓣还能这么玩,长见识了。看来是我太单纯啊 | 
|  |      10bao3      2017-12-06 19:01:32 +08:00 我是很认真看楼主的产品,可是点开的那一刻,我一直在看豆瓣了。。。。。 |