目前 app 的 api 请求日志都是放在日志.log 里的,也没有 shell 去统计量。有没有好的工作可以做这种统计,ELK 感觉太过重,有没有轻量的工具推荐?
1
InkAndBanner 2020-08-25 10:56:46 +08:00
同求
|
2
tabris17 2020-08-25 10:58:15 +08:00
ELK 还重?自己写 python 脚本吧
|
3
ben1024 2020-08-25 11:06:06 +08:00
ELK
直接 E |
4
ben1024 2020-08-25 11:06:24 +08:00
或者用哨兵
|
5
chendy 2020-08-25 11:11:29 +08:00
elk 虽然”重“但是功能全
其实只有 e 是必须的,l 和 k 都可以换(其实主要是 e 重…) |
6
letitbesqzr 2020-08-25 11:24:44 +08:00
没觉得 elk 有多重,es 是那种配置越好性能越好的软件.. 你要实在觉得“重”,使劲压榨下参数不就行了。。
|
7
liujialongstar 2020-08-25 12:34:09 +08:00
个人感觉 elk 里 k 比较重, 功能太多了, 一直没理清; 好在有替代品
|
8
Fitz 2020-08-25 13:17:26 +08:00
loki
|
9
ohao 2020-08-25 13:22:58 +08:00
小公司个人的话 推荐 clickhouse,类 sql 查询支持 这个比较适合
但是也要考虑你的查询需求和日志量和业务增加速度,做好预留 ELK 的套件 非中大公司不太推荐 ,集群,容灾,一堆一堆的问题,虽然资料相对多 对资源和维护要求都比较高 我们以前 CDN 系统的日志支持的是这个,实际交付给客户使用阶段 还是发现不太合适 |
10
xuanbg 2020-08-25 13:25:00 +08:00
ELK/EFK 这种一点都不重,几行 docker 命令就搞定
|
11
nikandaoleshenme 2020-08-25 13:41:13 +08:00
0,自己动手写一个
1,日志有明确的格式 2,编写一个程序( shell 、py 、亦或你最拿手的语言 java 、go ),定时读取日志,然后解析格式(解析规则取决于日志格式),入库 3,库可以是 es,甚至 mysql 、 建议文档数据库 mongodb,简单易用,方便后续的聚合查询 4,工作量:一个人全心投入,一个下午即可出一个 简版来 5,注意事项:日志解析需要细心,大文本读取策略,内存溢出, 6,开始行动 或者 pass |
12
aeli 2020-08-25 14:00:17 +08:00
日志目前我用了 loki,算轻量的收集。但对 trace 之类支持不好。
|
13
jsonfork OP @tabris17 奈何脚本使用不灵活。还要手写各种统计的图。
@ben1024 @chendy @letitbesqzr @liujialongstar @xuanbg 谢谢各位,elk 是在待选方案里的,也打算进行尝试。 |
16
vipppppp 2020-08-25 15:56:39 +08:00
我们组折腾了一圈后回到了 elk,filebeat,kafka 。。
自己开发与其他工具不是维护太麻烦、资料太少就是功能缺失。。 |
17
c00WKmdje2wZLrSI 2020-08-25 16:02:16 +08:00
为什么不用阿里云的日志服务呢?价格比自建低,又不用运维
|
18
stardustree 2020-08-25 16:29:17 +08:00
想轻量就不要采集原始的日志,直接在客户端从原始日志里抽出关心的指标,然后随便搞个时序数据库存着就好了
|
19
chinvo 2020-08-25 16:36:18 +08:00
|
20
gaigechunfeng 2020-08-25 17:43:28 +08:00
elk 这种是日子分析框架,还是采集框架?
我现在是需要在小程序,前端采集数据。不知道 elk 能不能支持 |
21
fanshaohua 2020-08-25 18:36:35 +08:00 via Android
可以考虑一下 Azure 的 Application Insight.
|
22
podel 2020-08-25 18:39:12 +08:00
强烈按理 阿里云的日志服务。
便宜又好用。还能直接监测 VPS 上面的日志文件,还有智能正则匹配功能。 |
23
sadfQED2 2020-08-25 19:46:53 +08:00 via Android
|
24
SmiteChow 2020-08-26 10:12:57 +08:00
Google Analytics
|
25
aladdindingding 2020-08-26 11:25:55 +08:00
我们公司用的 clickhouse
|