10 亿级的操作流水和千万级的用户，进行匹配、查询、统计，怎么处理才能加快？最快能到什么速度？
qinrui · 2018-03-12 09:33:22 +08:00 · 2634 次点击这是一个创建于 2477 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
tomczhen 2018-03-12 09:44:06 +08:00 via Android
不说业务逻辑不是瞎扯么。
全部数据放内存跑，最快到什么速度取决于具体业务逻辑，反正也没法更快了。 |
 |
2
murmur 2018-03-12 09:45:19 +08:00
这大概就是四大行的数据量？用户数还不止？
做好分区分表机器全用最屌的那种就是你现在那个体验 至于所有数据级别的统计 你见过那个银行提供过这种服务 对吧 只针对一个用户统计数据反倒没多少 |
 |
3
MasterC 2018-03-12 09:48:52 +08:00
这个级别的数据量不算太大。具体处理速度要看业务场景，连续 scan 还是随机读取，不同场景不同方案。使用当下很多的 olap 技术都可以做到秒级查询的，超复杂的 join 可能会慢些
|
 |
4
feverzsj 2018-03-12 09:51:02 +08:00
流水这种时间序列数据很容易通过分表来解决大数据量，千万级用户也不是很多，单表就能解决
|
 |
5
XOXO360 2018-03-12 10:23:05 +08:00
前提条件不说，就说最快？如果你是天河一号，你觉得需要几秒？，如果是全内存数据库，你觉得多少？你设计合理又是多少，不合理又是多少，用大数据的话，数据倾斜又是多久，如果是职场新人，建议问问你前辈。
|
 |
6
lk1ngaa7 2018-03-12 12:22:58 +08:00
内存计算 ，hash 到机器
|
 |
7
rashawn 2018-03-12 12:33:53 +08:00 via iPhone
最快… 一个用户给开一台机器
|
 |
8
jahan 2018-03-12 16:22:28 +08:00
elasticsearch 可以不？
|
Select Language