V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hyc5312
V2EX  ›  程序员

分享个人开源的爬虫框架

  •  
  •   hyc5312 ·
    heyingcai · 2019-03-04 10:47:41 +08:00 · 1803 次点击
    这是一个创建于 1852 天前的主题,其中的信息可能已经有所发展或是发生改变。
    工作的需求和个人的兴趣上开发了一个爬虫框架,目前功能比较简单,后续会不断的完善,希望大家给提点建议,对爬虫感兴趣的一起交流~。
    github: https://github.com/heyingcai/cetty

    功能介绍:
    1.基于完全自定义事件处理机制的爬虫框架
    2.模块化的设计,提供强大的可扩展性
    3.基于 HttpClient 支持同步和异步数据抓取
    4.支持多线程
    5.基于 Jsoup 页面解析框架提供强大的网页解析处理能力

    TODO:
    1.支持注解方式
    2.支持代理池
    3.支持 Berkeley 内存数据作为 url 管理器,提供海量 url 存储并提高存取效率
    4.支持热更新
    5.支持爬虫治理
    WuMingyu
        1
    WuMingyu  
       2019-03-04 11:14:18 +08:00
    借贴分享自己的开发的爬虫框架 https://github.com/strongbugman/ant_nest 楼主优先🐶
    maoyun234
        2
    maoyun234  
       2019-03-04 13:41:27 +08:00
    这不就是 webmegic 么,看着好像啊
    hyc5312
        3
    hyc5312  
    OP
       2019-03-04 14:20:31 +08:00
    @maoyun234 你说得没错,第一眼看起来确实很像 webmagic,但是实际上是站在巨人的肩膀上开发的,因为爬虫的套路都是差不多的,只是底层架构不一样,感兴趣的话可以去看看底层的源码,和 webmagic 的底层源码还是有比较大的局别的哦~
    runningman
        4
    runningman  
       2019-03-04 16:51:07 +08:00
    webmagic 玩过,之前遇到一些限制。空了看看你的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5420 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 06:54 · PVG 14:54 · LAX 23:54 · JFK 02:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.