用什么来做数据监控报警？

[TypeErrorNone]

1.每天的数据量很大，大概 5 亿多条，如果用 mysql 存储，再用来查询监控，肯定不行的。 那么用什么来存储呢？

2.数据监控报警，可以知道当前金币发放的数据量，如果超过 /少于 3 天前，7 天前的数据量 10%，就发出报警， 用什么开源的工具可以快速实现呢？

[defunct9]

prometheus

[Yooloo]

prometheus

[useben]

es

[momo1999]

拿个字段放累加值行不行，不要用 sum

[CoooooolFrog]

美团点评开源监控系统 cat，谁用谁知道

[tianshiyeben]

wgcloud

[superrichman]

elasticsearch

[tianshiyeben]

@tianshiyeben 开源监控项目 https://github.com/tianshiyeben/wgcloud

[shunconf]

@CoooooolFrog 不留地址？

[laminux29]

监控金币发放的数据量，这应该是业务，你居然敢拿第三方监控系统来实现，我也是佩服....万一第三方监控系统挂了，或者有个缓冲延迟什么的...

[sujin190]

这种正常操作不应该先写入 Kafka，让后用个流式框架统计出每天的再写入 influxdb 或者 mysql 之类的来监控么，哪有直接监控原始数据的，就算每天太粗糙，那每小时肯定绰绰有余了，否则这么大量，存入 mysql，查询从磁盘读出来都不知道要多久了，毕竟磁盘读取速度摆在那的

[DukeAnn]

flink

[joesonw]

TICK 全家桶, Influx 存数据, Kapacitor 做按业务报警

[freemoon]

Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。
-Clickhouse 用于在线流量分析，一步一步最终形成了现在的 Clickhouse 。在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。

[freemoon]

Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。
- Clickhouse 用于在线流量分析，在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。
- Clickhouse 能够实现实时聚合，一切查询都是动态、实时的，用户发起查询的那一刻起，整个过程需要能做到在一秒内完成并返回结果
- Clickhouse 支持完整的 DBMS 。支持动态创建、修改或删除数据库、表和视图，可以动态查询、插入、修改或删除数据。
- 数据批量写入，不需要经常更新、删除。数据写入完成后，相关业务不要求经常对数据更新或删除，主要用于查询分析数据的价值。
- Clickhouse 适合用于商业智能领域，广泛应用于广告流量、App 流量、物联网等众多领域。借助 Clickhouse 可以实时计算线上业务数据，如资源位的点击情况，以及并对各资源位进行 bi 预警。

京东使用的架构，Kafka --> flink 定时任务 --> Clickhouse 。

[freemoon]

https://mp.weixin.qq.com/s/SKO3iAVJzwwcFyGQFetoYA

[freemoon]

觉得可以的话请点亮右上角。

[BQsummer]

关键词：时序数据库，推荐：Prometheus

[byzf]

prometheus 不是用来监控 api 的吗, 不能用来监控数据库的某个查询结果吧.

[freemoon]

不会吧不会吧，楼主白嫖一波就溜了？