Python 爬虫项目如何管理?

[practicer]

换工作后终于名正言顺写爬虫了,团队中只有我一个人写爬虫项目, 最近有个爬虫项目持续到年底,一天爬一个网站的速度,那么, 百来个爬虫项目如何管理呢? 我不用 scrapy, 有什么 tricky 或者建议请不吝赐教.

我期望的比较好的管理方式是部署到 web, 通过 web 管理. 实在不行就只能用 excel 管理啦.

[50vip]

不知道是什么意思~

[wico77]

pyspider, 不过这个适合定时爬。

[Patrick95]

用 Python 再写一个爬虫项目的 Web 管理系统嘛，应该不难呀。

[wayslog]

crontab+版本控制自动跑，考虑到迁移 ip 的事儿再用 ansible 写了个半自动化部署脚本。。。用的也挺好的

[practicer]

@wico77 看起来很有用，真的很感谢分享

[practicer]

@Patrick95 重新写不是挺慢的吗

[Kilerd]

造轮子，造轮子！！！

[crayonyi]

我是自己写了一个通用爬虫系统，后面用 django admin ，管理 10 几个爬虫的爬取规则及定时任务

[cphilo]

所有爬虫采用配置，然后弄个消息队列用来调度爬虫任务，基本上维护起来非常方便了，生产环境中几百个站点实践过

[practicer]

@cphilo 能不能详细说明一下啊?

[practicer]

@wayslog 有相关的教程吗?谢谢

[anyforever]

前两天刚看过的一篇理论文章，你可以参考着设计一下。 http://mp.weixin.qq.com/s?__biz=MjM5ODIzNDQ3Mw==&mid=2649966217&idx=1&sn=3a9b41d42a8e42849df6ff257db5f797&chksm=beca368f89bdbf994af347b85c1c089f2306613272f00fe917656b7ae0463bc9345d8160a76e#rd

[wayslog]

@practicer 没啥教程……基本上修修补补就出来了……又不是啥难得事儿……几个脚本的事儿

[zluyuer]

推荐采用 Rundeck 调度

[brucedone]

执行载体暴露 api ，以 xml 或者 json 做为标准格式，执行载体要有当前执行，待跑列表，历史记录，爬虫管理，执行或者删除等核心功能，然后以此的基础上，你就欢快的脱离语言自己造轮子吧。

[brucedone]

关于调度的，欢迎你使用这个。[调度]可视化的调度架构-Dagobah] http://brucedone.com/archives/754

[practicer]

@brucedone 这个工具很灵活啊，谢谢了

[ytmsdy]

pyspider

[cszhiyue]

@brucedone 更加完善的

incubator-airflow

[tikazyq]

crawlab