这是一个创建于 1862 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前用了 mongo 打算一天存一个集合，但是数据到了五千万左右的时候写入速度就很慢了，每秒几百条。
{
"_id" : ObjectId("5da7e7842bd2cd5578ebdf52"),
"time" : "2019-09-01 08:01:45.899",
"src_ip" : "59.1.1.1",
"port" : "64466",
"proto" : "TCP",
"in_bytes" : "60",
"out_bytes" : "0",
"in_packets" : "1",
"out_packets" : "0",
"flows" : "1",
"is_edu_net" : "1"
}
数据结构大概是这样，后面需要展示，就这样表格一条数据占一行，会按照 ip，端口，或者协议查询。
 |
1
oscer 2019-10-17 16:21:40 +08:00
pg?
|
 |
2
taotaodaddy 2019-10-17 16:22:48 +08:00 via Android
时序？
|
 |
3
mikulch 2019-10-17 16:33:12 +08:00  1
hbase?
|
 |
4
atbility 2019-10-17 16:43:07 +08:00
elasticsearch?
|
 |
5
l0wkey 2019-10-17 16:46:10 +08:00
TSDB
|
 |
6
rrfeng 2019-10-17 16:48:48 +08:00
应该是 cache 满了，合理调整一下应该可以的。
|
 |
7
qiayue 2019-10-17 16:52:42 +08:00
不用问，问就是时序数据库
|
 |
8
tt67wq 2019-10-17 16:57:19 +08:00
influxdb
|
 |
9
letitbesqzr 2019-10-17 17:18:54 +08:00
@atbility #4 elasticsearch 真的适合如此高的频率写入数据？我所了解要说写入效率，es 是常见的数据库中最慢的。
|
 |
10
hkitdog 2019-10-17 17:24:52 +08:00 via iPhone
Oracle
|
 |
11
ebingtel 2019-10-17 17:26:44 +08:00
@letitbesqzr 先写入 kafka 再写 ES
|
 |
12
yingsunwl 2019-10-17 17:33:24 +08:00
clickhouse
|
 |
13
rockyou12 2019-10-17 17:34:59 +08:00
时序库吧，timescale，influxdb 这种，上面说 es 估计也行但性能会差些
|
 |
14
11ssss 2019-10-17 17:36:43 +08:00
TDengine
|
|
15
atbility 2019-10-17 17:37:06 +08:00
@letitbesqzr es 挺快的啊，上次我整了 10 个亿的数据，9 台服务器，速度杠杠滴
|
 |
16
zxc111 2019-10-17 17:38:17 +08:00
clickhouse+1
|
 |
17
wangxiaoaer 2019-10-17 19:02:49 +08:00
|
 |
18
Pythondr 2019-10-18 01:08:54 +08:00 via Android
这种数据，明显时序数据库
|
 |
19
Samuelcc 2019-10-18 02:28:03 +08:00 via Android
hbase
|
Select Language