V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
briefcopy
V2EX  ›  程序员

开源 JAVA 爬虫,WebCollector,具有可扩展内核和爬虫基本类库,提供了一个界面。欢迎吐槽。

  •  
  •   briefcopy · 2014-07-21 10:52:26 +08:00 · 5719 次点击
    这是一个创建于 3538 天前的主题,其中的信息可能已经有所发展或是发生改变。
    5 条回复    2014-07-27 12:23:59 +08:00
    gongweixin
        1
    gongweixin  
       2014-07-21 12:03:10 +08:00   ❤️ 1
    粗略的扫了一眼,不能爬特定文件?比如图片,歌曲一类的,只能爬页面?
    briefcopy
        2
    briefcopy  
    OP
       2014-07-21 12:52:40 +08:00
    @gongweixin 什么都能爬,里面默认的那个demo,如果你爬合肥工业大学官网,里面所有的flv、图片、CSS、JS都会搞下来的。
    briefcopy
        3
    briefcopy  
    OP
       2014-07-21 13:30:20 +08:00
    @gongweixin 请问您是想要什么样的需求?
    gongweixin
        4
    gongweixin  
       2014-07-23 12:06:08 +08:00
    我的意思是只爬图片,歌曲,别的都不要. 只爬特定文件.
    briefcopy
        5
    briefcopy  
    OP
       2014-07-27 12:23:59 +08:00
    @gongweixin 没有问题,设定一下正则就OK
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1486 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 23:51 · PVG 07:51 · LAX 16:51 · JFK 19:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.