1.5 亿行数据，每天新增 10 万行左右， 5 分钟内提取新增行，请问能实现吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1403 天前的主题，其中的信息可能已经有所发展或是发生改变。

5 分钟内提取新增 10 万行左右，反正越快越好
用什么办法实现？服务器内存数据库？
多少钱能开发做到？
谢谢

7 条回复

tqyq88

2021-01-26 23:17:17 +08:00

这数据量不算大，elasticsearch 就可以做到，普通配置

YouLMAO

2021-01-26 23:17:26 +08:00 via Android

提取太简单了哪需要 5 分钟，30 秒搞定

YouLMAO

2021-01-26 23:18:04 +08:00 via Android

Codis 一秒百万没问题

fourstone

2021-01-26 23:18:22 +08:00

@YouLMAO 我想要的就是每天在服务器上自动获取，自动提取，明天几亿行数据都是重复的，新的才 10 几万行

ebingtel

2021-01-27 09:08:00 +08:00

@fourstone 数据重复加生成个 hash 么？加个单表搞个唯一键记录下上次获取的最大 id ？

xcstream

2021-01-28 16:10:38 +08:00

这数据量不算大一条 sql 就能出来吧

antpi

2021-01-29 10:18:49 +08:00

YW50eDIwMDYwMQ==