V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
xiyangyang
V2EX  ›  问与答

要做采集系统,怎么设计采集系统的架构最好

  •  
  •   xiyangyang · 2016-01-13 09:16:09 +08:00 · 1926 次点击
    这是一个创建于 3241 天前的主题,其中的信息可能已经有所发展或是发生改变。

    技术需求:
    1. 多线程 java
    2. docker 上开多个虚拟机
    3. 能监控采集结果,采不到报警
    4. 对采集源的采集频率可以定制
    5. 兼容将来的大数据平台

    请教各位大神,是否已经有这种系统架构了?没有的话,得自己设计了。

    5 条回复    2016-01-14 12:00:57 +08:00
    hienchu
        1
    hienchu  
       2016-01-13 09:37:14 +08:00
    采集什么数据?用什么设备?以前在学校都是直接用数据采集卡的配套软件,基本上这些功能都有了
    xujif
        2
    xujif  
       2016-01-13 11:48:00 +08:00
    pyspider
    xiyangyang
        3
    xiyangyang  
    OP
       2016-01-13 21:45:44 +08:00
    @xujif

    各种媒体平台都要采集,网站,论坛,博客,微博,微信等
    sohoer
        4
    sohoer  
       2016-01-14 09:01:50 +08:00
    跟我合作吧,完全满足

    https://coding.net/u/speed/p/newcrawler/paas
    test
    test
    xiyangyang
        5
    xiyangyang  
    OP
       2016-01-14 12:00:57 +08:00
    @sohoer, 虽然跟我们想要的还有点距离。 联系一下把, QQ : 16983994
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4184 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 05:22 · PVG 13:22 · LAX 21:22 · JFK 00:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.