V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
dapengzhao
V2EX  ›  问与答

大量数据(每 5 分钟 100M),数据库该怎么选择?以及表的设计?大家有什么建议。

  •  
  •   dapengzhao · 2019-05-24 16:10:00 +08:00 · 1741 次点击
    这是一个创建于 2045 天前的主题,其中的信息可能已经有所发展或是发生改变。

    数据主要是路由信息 前端展示主要是查询操作 服务器资源充足

    第 1 条附言  ·  2019-05-24 16:59:00 +08:00
    我之前没有处理过这么多数据
    所以想的比较简单
    每周的数据存一个表,表名是( 19 年 20 周) 1920
    然后表里有具体的天和时间信息
    8 条回复    2019-05-26 10:27:34 +08:00
    whileFalse
        1
    whileFalse  
       2019-05-24 16:41:38 +08:00
    lx 的说说这个需求用 DB 合适不
    Smilencer
        2
    Smilencer  
       2019-05-24 16:43:25 +08:00
    TSDB ?
    rockyou12
        3
    rockyou12  
       2019-05-24 16:44:57 +08:00
    路由的什么信息? url 这种 elasticsearch 检索和可视化(用 kibana )比较好,如果是数字指标 Prometheus+grafana 这套比较合适
    scalaer
        4
    scalaer  
       2019-05-24 16:49:13 +08:00
    用时序 druid 数据库吧, 5 分钟一个 segment
    dapengzhao
        5
    dapengzhao  
    OP
       2019-05-24 16:53:06 +08:00
    @rockyou12 数字指标主要是 ip 端口 流量
    rockyou12
        6
    rockyou12  
       2019-05-24 19:40:04 +08:00
    @dapengzhao 那专业的时序数据库比较合适,influxdb 或者 promethus 这种。用 grafana 可视化也简单
    dapengzhao
        7
    dapengzhao  
    OP
       2019-05-25 09:03:43 +08:00
    @rockyou12 如果要添加新的功能,再定制是不是不方便
    rockyou12
        8
    rockyou12  
       2019-05-26 10:27:34 +08:00
    @dapengzhao 没搞懂你什么意思,如果你是有其他传统的关系数据还需要管理,那你这些数据还是用 mysql 这种关系库就行了啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1182 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 18:19 · PVG 02:19 · LAX 10:19 · JFK 13:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.