V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
pengpotter
V2EX  ›  数据库

在意查询速度,并且也会实时写入的场景,如何选择数据库?

  •  
  •   pengpotter · 2016-05-23 11:17:29 +08:00 · 1584 次点击
    这是一个创建于 3108 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位好,请教一个问题

    我现在有一个使用场景,就是我们的系统会实时的获取一些数据,然后把数据存储起来,另外的一个服务,会频繁的调取存储的数据做分析,数据的调取是从全部数据里面根据关键字来查询的

    这样的使用情况,如果使用 mogodb 适合吗? 还是 redis 或者 MySQL ?或者用其他的方案?

    谢谢

    13 条回复    2016-05-23 17:37:14 +08:00
    knightdf
        1
    knightdf  
       2016-05-23 11:32:31 +08:00
    elasticsearch
    NullMan
        2
    NullMan  
       2016-05-23 11:33:36 +08:00
    这种小任务, 用文本文件就行了. 一行行存储, 一行行读取, 再用上文件锁机制, 查询的时候, 用正则表达式进行匹配即可. 哪里用得上这些庞大怪物的数据库嘛.
    9hills
        3
    9hills  
       2016-05-23 11:35:00 +08:00
    没有量化数据就是刷流氓。

    等下面的同学各种推荐后, lz 加了一个条件,需要实时存储 PB 级数据。。分析频率几万 QPS
    wjself
        4
    wjself  
       2016-05-23 12:11:59 +08:00 via Android
    @9hills PB 級(゜-゜)w 級 QOS … QAQ
    fredcc
        5
    fredcc  
       2016-05-23 13:25:29 +08:00 via Android
    @9hills 也有相应服务可以择的,就怕说不清需求
    9hills
        6
    9hills  
       2016-05-23 13:28:25 +08:00
    @fredcc 然后 lz 来一句,预算 10w ,请满足。。 @@
    gefranks
        7
    gefranks  
       2016-05-23 13:29:52 +08:00
    用过 mongodb 的请举手,哗啦,手全举起来了.现在还在用 mongodb 的请举手,哗啦,手全放下去了
    ayaseangle
        8
    ayaseangle  
       2016-05-23 13:30:03 +08:00
    月经贴。。。
    fredcc
        9
    fredcc  
       2016-05-23 13:41:33 +08:00 via Android
    @9hills 套路很熟悉嘛(・_・;)
    fredcc
        10
    fredcc  
       2016-05-23 13:44:02 +08:00 via Android
    正经点说,看起来像日志实时收集分析的需求,业界是 kafuka 汇聚后多订阅消费比较多吧, AWS 上有类似的托管服务 kinesis ,关键字简单的话应该可以直接抽取。复杂的需求就是大数据分析了
    realpg
        11
    realpg  
       2016-05-23 17:25:09 +08:00
    全世界 95%的 PHP+MYSQL 的程序都跟楼主的差不多
    shiny
        12
    shiny  
       2016-05-23 17:30:56 +08:00
    @gefranks 还在用,原因是懒得迁移。但迟早要把它迁走
    m939594960
        13
    m939594960  
       2016-05-23 17:37:14 +08:00
    @gefranks 大概说下是为什么被。。 我最近也准备研究 mongodb
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1310 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 17:51 · PVG 01:51 · LAX 09:51 · JFK 12:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.