V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
deweixu
V2EX  ›  程序员

请教一下大神们,日志是怎么处理的?

  •  
  •   deweixu ·
    deweixu · 2017-12-08 12:11:42 +08:00 · 3136 次点击
    这是一个创建于 2545 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我们之前对日志的处理是,每天会有一个定时任务处理头一天的日志,会选择一个关键的日志入库,然后可以下载,导出成 excel 之类的,但是随着日志数据量的巨增,发现入库不是一个好的选择,大神们是怎么弄的呢?

    8 条回复    2017-12-09 09:23:28 +08:00
    957204459
        1
    957204459  
       2017-12-08 12:13:41 +08:00 via iPhone
    ELK
    cls1991
        2
    cls1991  
       2017-12-08 12:15:34 +08:00
    elk
    deweixu
        3
    deweixu  
    OP
       2017-12-08 12:30:46 +08:00
    @957204459 Elasticsearch 是不是还要把从 logstash 得到的数据存储起来?
    zen9073
        4
    zen9073  
       2017-12-08 12:34:22 +08:00
    @deweixu
    logstash 收集 log,发送到 elasticsearch 存储,然后通过 kibana 处理展示,
    roricon
        5
    roricon  
       2017-12-08 15:21:40 +08:00
    在 logstash parse log file 的时候加 filter 可以过滤掉你不关心的 log entries
    iugo
        6
    iugo  
       2017-12-08 18:17:55 +08:00
    之前想过用 Kafka + 自定义处理, 但前一段将日志移入某云. 然后只针对严重的错误进行提醒.
    qqmishi
        7
    qqmishi  
       2017-12-09 07:16:08 +08:00
    或者试试 loggly 这种日志服务
    rooftop64
        8
    rooftop64  
       2017-12-09 09:23:28 +08:00
    试试 Graylog
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1625 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:06 · PVG 01:06 · LAX 09:06 · JFK 12:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.